合成预预训练随规模有效但非语法先验

2026年9月30日，HuggingFace Daily Papers收录一项关于合成预预训练（PPT）的研究。该研究覆盖五种PPT任务、四种PT数据混合、四种参数规模（500M至7B）以及最高100B token的PT预算。结果显示，在合成非自然语言数据上进行预预训练所带来的下游性能与token效率提升可随规模保持，在3B规模下至少节省21B PT token。但与先前工作不同，研究未发现一致证据表明这些收益来自语法先验；收益实际来自改善长程检索的PPT任务，且仅在PT数据混合中缺少网页文本时才会减弱。早先报道称收益源于语法先验，后续报道称未发现一致证据支持这一机制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。