跳到正文
热点事件历史事件

MOPD-Router令牌级多教师蒸馏路由框架

1 篇报道1 个报道来源4 天前更新

先了解这件事

AI 综述

2026年9月25日,HuggingFace Daily Papers收录论文《MOPD-Router:多教师在线蒸馏中的令牌级路由新框架》。该研究针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,提出MOPD-Router框架:无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由;其中提出的ExpertAlign指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明令牌级路由能有效利用跨域互补监督。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

9月25日
  1. HuggingFace Daily Papers(社区热门论文)
    MOPD-Router:多教师在线蒸馏中的令牌级路由新框架

    针对多教师在线蒸馏(MOPD)中依赖提示词级领域标签进行硬路由的局限,研究者提出 MOPD-Router 框架。该框架无需领域标签或独立路由模型,即可在每个令牌级别对全教师池的监督信号进行路由。其中提出的 ExpertAlign 指标通过评估教师纠正是否体现其专业化能力来加权信号。实验显示,ExpertAlign 在无标签和有标签数据的四种设置下均取得最佳性能,相比均值聚合提升显著,证明了令牌级路由能有效利用跨域互补监督。