HuggingFace Daily Papers（社区热门论文）·2026-09-28 08:00· 2 天前AI 评分41

OLIVE：在学生状态上学习教师续写，实现高效在线蒸馏

Learning from Teacher Continuations at Student States

AI 导读

研究团队提出在线蒸馏方法 OLIVE（OnLine InterVEntion）：每轮由学生策略生成前缀、教师自回归续写，再用教师生成 token 上的交叉熵更新学生。