跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 4 天前AI 评分38

MOPD-Router:多教师在线蒸馏中的令牌级路由新框架

MOPD-Router: Rethinking Teacher Routing in Multi-Teacher On-Policy Distillation

AI 导读

针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,研究者提出 MOPD-Router 框架。该框架无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由。其中提出的 ExpertAlign 指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign 在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明了令牌级路由能有效利用跨域互补监督。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org