热点事件历史事件
MOPD-Router令牌级多教师蒸馏路由框架
1 篇报道1 个报道来源4 天前更新
先了解这件事
AI 综述
2026年9月25日,HuggingFace Daily Papers收录论文《MOPD-Router:多教师在线蒸馏中的令牌级路由新框架》。该研究针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,提出MOPD-Router框架:无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由;其中提出的ExpertAlign指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明令牌级路由能有效利用跨域互补监督。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
9月25日
- HuggingFace Daily Papers(社区热门论文)MOPD-Router:多教师在线蒸馏中的令牌级路由新框架
针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,研究者提出 MOPD-Router 框架。该框架无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由。其中提出的 ExpertAlign 指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign 在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明了令牌级路由能有效利用跨域互补监督。