跳到正文
HuggingFace Daily Papers·· 5 天前AI 评分38

Harness-Aware Distillation:让小语言模型智能体学会 harness 之外的能力

Harness-Aware Distillation for Small Language Model Agents

AI 导读

研究者提出 Harness-Aware Distillation(HAD),将蒸馏重点放在教师模型超出 harness 之外的能力上,而非模仿教师的完整输出。HAD 在 on-policy 蒸馏基础上加入动作偏好对比与有效性校验,无需任务奖励、成功标签或未来信息。

来源:HuggingFace Daily Papers · arxiv.org