HuggingFace Daily Papers（社区热门论文）·2026-09-26 08:00· 5 天前AI 评分47

同族同策略蒸馏的缩放规律：弱到强、同基座与强到弱教师-学生设置研究

Scaling Properties of Same-Family On-Policy Distillation

AI 导读

研究揭示同策略蒸馏（OPD）在弱到强、同基座、强到弱教师-学生设置中的缩放规律：早期训练中，留出准确率（gold score）随学生初始化 token 级反向 KL 散度平方根近似线性上升，形成"有效迁移"区间。