研究:基座模型可借起始 token 线索激发推理
热点事件观察中
研究:基座模型可借起始 token 线索激发推理
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
一项研究提出,基座模型的推理能力可由回复开头的特定 token 线索激发。研究称,训练数据在回复起始 token 与后续推理行为之间建立了关联,固定这类线索后,基座模型在数学和编码任务上的表现可接近其强化学习训练版本。 论文给出的例子包括:以 ".\n\nOkay" 开头,Olmo-3-7B 在 MATH-500 上的 pass@1 从 42% 提升到 78%;以 "Alright," 开头,Qwen3-14B 从 72% 提升到 87%。这些数字来自该研究的报告,尚待独立验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月5日 08:00
研究揭示基座模型可借起始 token 线索激发推理能力报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- HuggingFace Daily Papers研究揭示基座模型可借起始 token 线索激发推理能力
论文研究训练数据如何建立基座模型回复起始 token 与后续推理行为的关联,固定特定起始 token 线索可让基座模型在数学和编码上接近其 RL 训练版本,如 ".\n\nOkay" 将 Olmo-3-7B 的 MATH-500 pass@1 从 42% 提升到 78%,"Alright," 将 Qwen3-14B 从 72% 提升到 87%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。