公众号:蚂蚁百灵· 百灵大模型·· 2026-06-25AI 评分54
Ling Team 提出 UFP4 方案:FP4 预训练是否应放弃 E2M1?
Re0: 当表达细节成为 FP4 新瓶颈时,我们是否仍要坚守 E2M1?
AI 导读
Ling Team 在 arXiv 技术报告中指出,FP4 预训练中 E2M1 格式存在先天 Shrinkage Bias,导致量化有偏并拖慢收敛。实验显示,在细粒度量化与 RHT 下,E1M2/INT4 的 uniform grid 能更好转化 bucket 利用率收益,反超 E2M1。团队据此提出 UFP4 recipe,建议未来训练硬件不应只押注 E2M1。
来源:公众号:蚂蚁百灵 · mp.weixin.qq.com