跨分词器在线策略蒸馏研究：对齐覆盖率非关键

一项新研究重新审视跨分词器在线策略蒸馏（OPD），发现严格 1:1 对齐已覆盖大部分学生生成的 token，继续扩大对齐覆盖率并不能提升学习效果。研究者称，将 reverse KL 限制在学生选出的共享词表 top-16 子集，即可达到全共享词表 OPD 的精度，并优于所评估的跨 Tokenizer 基线。 该结论把跨分词器蒸馏的关注点从对齐覆盖率转向监督可靠性，意味着无需为追求更全的词表对齐而增加计算或工程成本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。