Apple研究：双语预训练混合数据优于超参数搜索

Apple Machine Learning Research 发布研究称，在低资源语言预训练中，混入高资源语言数据比调超参数更有效。团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混合数据带来的提升相当于 2–3 倍目标语言独有数据（按验证损失衡量）和 2–13 倍（按下游任务准确率衡量），且优势随模型增大而扩大。 基于此，团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。