跳到正文
HuggingFace Daily Papers·· 2 天前AI 评分31

Neighborhood OPSD:用邻近参数扰动改进数学推理模型的在线自蒸馏

Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation

AI 导读

研究者提出 Neighborhood OPSD(N-OPSD),通过局部参数扰动构建冻结专家池,在相同参考解上下文下提供互补的参考对齐修正,并用 MaxPeak 选锚点 token、分位数选择匹配专家,学生仍用 OPSD 的 clipped forward-KL 目标学习。

来源:HuggingFace Daily Papers · arxiv.org