HuggingFace Daily Papers（社区热门论文）·2026-09-26 08:00· 5 天前AI 评分37

S²D-OPD：按 JSD 筛选状态的选择性蒸馏监督

Not Every Token Is Worth Distilling: Selective Supervision for Direct-OPD

AI 导读

针对 Direct-OPD 的 token 级 log-ratio 只衡量相对变化、在概率质量消失时仍可能不变的缺陷，研究者提出 S²D-OPD，按教师参考 JSD 对学生采样状态排序，屏蔽低散度状态的监督，每条回复只保留前 10% 状态。