Baseten研究：OPSD存在偏差，不值得继续投入

1. 08:00
   Baseten 工程博客

   Base Labs 研究：on-policy self-distillation 存在偏差，并非持续学习银弹

   Base Labs 在 11 月 6 日的研究更新中指出，on-policy self-distillation（OPSD）虽在部分场景仍有用，但不值得继续投入研究。作者认为，OPSD 的教师模型已知道答案，无需检查、回溯或保留余地，这种稠密损失主要带来偏差，且可能只保留旧知识而学不到新知识。

2. 00:00
   Baseten Base Labs：模型研究

   Baseten Base Labs 分析 on-policy 自蒸馏（OPSD）的偏差问题

   Baseten Base Labs 发文认为 on-policy self-distillation（OPSD）不值得继续投入研究。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。