按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)Fireworks 发布 ARCv3:跨区域 RL 权重更新压缩近 50%
AI 导读
Fireworks 发布 ARCv3 压缩器,在 1000 个生产 RL 权重更新 delta 上,其载荷比 ARCv2 小近 50%,平均仅为原始 BF16 权重体积的约 0.19%(ARCv2 为 0.36%),且可无损还原训练器的 BF16 权重。
Fireworks AI(网页)
41
AI 编辑部评分,满分 100Fireworks 发布 ARCv3:跨区域 RL 权重更新压缩近 50%
Fireworks 发布 ARCv3 压缩器,在 1000 个生产 RL 权重更新 delta 上,其载荷比 ARCv2 小近 50%,平均仅为原始 BF16 权重体积的约 0.19%(ARCv2 为 0.36%),且可无损还原训练器的 BF16 权重。
来源:Fireworks AI(网页)· fireworks.ai