NYU与Amazon发布技能蒸馏筛选论文
热点事件持续更新
NYU与Amazon发布技能蒸馏筛选论文
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
NYU与Amazon发布论文提出SGUID方法:只保留在训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。 论文称,在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。
AI 根据报道生成 · 2 小时前更新
最新进展10月10日 11:05
NYU与Amazon论文:精选技能蒸馏胜过11倍技能库报道时间线
沿着报道,了解事件的不同侧面。
10月10日
- Rohan PaulNYU与Amazon论文:精选技能蒸馏胜过11倍技能库
NYU与Amazon新论文提出SGUID方法,只保留训练早期和后期都持续提供有效信号的技能,蒸馏少量精选技能即可匹配甚至超越大11倍的技能库。在3个Qwen模型上,按主题匹配选出的技能中不到25%能提供有效信号;仅用6个精选技能,4个模型中有3个在数学竞赛测试上匹配或超越了30至71个技能的完整库。第二轮加入3个新技能后,Qwen3-8B从64.3%提升至66.3%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。