HuggingFace Daily Papers·· 2 天前AI 评分31
Neighborhood OPSD:用邻近参数扰动改进数学推理模型的在线自蒸馏
Better Supervision Is Nearby: Neighborhood On-Policy Self-Distillation
AI 导读
研究者提出 Neighborhood OPSD(N-OPSD),通过局部参数扰动构建冻结专家池,在相同参考解上下文下提供互补的参考对齐修正,并用 MaxPeak 选锚点 token、分位数选择匹配专家,学生仍用 OPSD 的 clipped forward-KL 目标学习。
来源:HuggingFace Daily Papers · arxiv.org