跳到正文
Thinking Machines Lab:News·· 14 小时前精选AI 评分79

Thinking Machines Lab 发布可跑在笔记本上的开源权重模型 Inkling 2 Mini

Introducing Inkling 2 Mini

AI 导读

Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,采用循环 Transformer 架构,将中间 12 层每 token 运行三次,总参数 26.4B、激活 3.4B,内存占用约 20GB,可在 32GB 内存以上的 Mac 本地运行。

推荐理由

原文给出循环架构设计、基准分数和可运行硬件门槛,读者可据此判断它是否适合本地部署和智能体任务。

正文 · AI 翻译
Introducing Inkling 2 Mini

今天我们发布 Inkling 2 Mini,这是一款速度快、能力强的模型,体积小到可以在你的笔记本电脑上运行。

Inkling 2 Mini 是一个循环式 transformer,每生成一个 token 都会把模型的中间层跑三遍。这样一来,模型能进行更多推理,用更少的 token 得出正确答案,在依赖推理质量的智能体编程等任务上尤其如此。在 DeepSWE v1.1(48.2%)和 Vals Index v2.2(46.5%)等基准上,Inkling 2 Mini 领先所有总参数量低于 100B 的开源权重模型,运行速度也比性能相近的模型更快。

DeepSWE v1.1

DeepSWE v1.1。Ripple-65B(预览版):44.3%,理论吞吐 4.7 tokens/s。Gemma 4 31B:0.3%,理论吞吐 10.0 tokens/s。Muse Glimmer:4.4%,理论吞吐 10.2 tokens/s。Qwen3.8-27B:42.2%,理论吞吐 11.4 tokens/s。Inkling 2 Mini:48.2%,理论吞吐 54.4 tokens/s。Gemma 4 26B A4B:0%,理论吞吐 80.8 tokens/s。Recursive Flint:10.81%,理论吞吐 122.8 tokens/s

SWE-bench Pro v2 Hard(51 项任务)

SWE-bench Pro v2 Hard(51 项任务)。Ripple-65B(预览版):79.1%,理论吞吐 4.7 tokens/s。Gemma 4 31B:14.2%,理论吞吐 10.0 tokens/s。Muse Glimmer:44.3%,理论吞吐 10.2 tokens/s。Qwen3.8-27B:73.8%,理论吞吐 11.4 tokens/s。Qwen3.6-27B:37.25%,理论吞吐 11.4 tokens/s。Inkling 2 Mini:77.9%,理论吞吐 54.4 tokens/s。Gemma 4 26B A4B:11.8%,理论吞吐 80.8 tokens/s。Qwen3.6-35B-A3B:28.1%,理论吞吐 102.3 tokens/s

总参数量低于 100B 的模型所报告的编程得分。绿线是包含 Inkling 2 Mini 的前沿,虚线是不含它的前沿,阴影部分则是它带来的提升。解码速度是在 614 GB/s、BF16 权重、批大小为 1 条件下的理论上限,其中计入了循环过程中的重复读取。各模型的评测设置有所不同。

Inkling 2 Mini 是一个混合专家(MoE)模型,总参数量 26.4B,激活参数 3.4B,考虑到循环,每个 token 的权重激活量为 5.4B。循环让模型能够推理更久,而不必把推理过程写下来,这对监控很重要:也就是我们通过阅读模型的思维链(CoT)来监督和理解其行为的能力。

我们用 Inkling 2 Mini 以及随它一同发布的一个研究专用的可变循环变体,测量了循环对性能和可监控性的影响。可变循环模型的无 CoT 时间跨度从单次运行的 16 秒提升到三次运行的 37 秒,其在一项串行推理基准上的表现一直提升到十次循环——是训练时循环次数的两倍。随着循环次数增加,模型的思维链变短了,但始终清晰可读。在智能体破坏行为的测试中,增加循环并没有让模型的得分呈上升趋势。

我们很高兴能为研究者提供首批采用循环架构的模型。可变循环模型被用于我们的可监控性实验,因为它能更清晰地在不同循环深度之间做比较。

Inkling 2 Mini 的大部分权重在训练和部署时都原生采用 NVFP4,最后四层为 MXFP8。Inkling 2 Mini 的总内存占用约为 20GB,因此可以在消费级笔记本电脑和桌面 AI 电脑等本地设备上运行。我们的研究人员带着 Inkling 2 Mini 上了一趟航班,它在 MacBook Pro 上离线运行,几分钟内就做出了一个可玩的飞行模拟器。

MacBook Pro(M5 Pro,48GB) 飞行模式

正在加载 Inkling 2 Mini 构建的飞行模拟器…要试用飞行模拟器,请在桌面端打开此页面。

用 Inkling 2 Mini 构建并试飞一个飞行模拟器。计时器显示的是真实时间;录制内容大部分以 15 倍速播放。

Inkling 2 Mini 以开放权重形式发布,今天已在 Tinker 上线,可用于推理和定制。

能力

Inkling 2 Mini 的优势与 Inkling 2 Small 一致:它最擅长长周期智能体任务,在我们测过的大多数任务上,是同尺寸开放权重模型中的最佳。

在 DeepSWE v1.1、SWE-bench Pro v2 等智能体编程基准上,Inkling 2 Mini 的得分领先所有同类模型;在其他一些基准上则仅次于 Qwen3.8-27B。在内核优化基准 PMPP-Hard 上,它的成绩接近体量大得多的 Inkling 2 Small。

循环能提升模型的推理能力,但无法让权重存下更多事实——知识量主要取决于参数总量。在衡量事实性的 AA-Omniscience 上,Inkling 2 Mini 的得分与同尺寸的其他模型相当。研究可变循环模型时我们发现,长上下文基准的表现会随循环次数增加而提升,例如 GraphWalks BFS 和 MRCR v2;但知识密集型基准不会因循环次数增加而改善,例如 AA-Omniscience、SimpleQA Verified、SimpleVQA 和 WorldVQA。

Inkling 2 Mini 通过高效使用搜索和工具弥补了知识短板。在 BrowseComp、DeepSearchQA 和 MCP Atlas 上,它领先同尺寸的开放权重模型;在结合搜索与工具使用的知识工作基准上同样表现强劲。

Inkling 2 MiniGemma 4 31BMuse GlimmerQwen3.8-27BNemotron 3.5 Super VL
模型信息
参数量(B)激活 / 总量5.4/26.430.7/30.730.0/30.027.0/27.012.0/124.5
第三方指数
AA 指数(v5.0)20.1(本行已报告的最高分)4.46.320.1(本行已报告的最高分)13.6
Vals 指数(v2.2)46.5%(本行已报告的最高分)–––29.8%(本行已报告的第二高分)
编程与自动研究
FrontierCode v2.0stirrup v0.2.115.1%(本行已报告的最高分)0.0%1.5%14.9%(本行已报告的第二高分)6.1%
DeepSWE v1.1mini-swe-agent v2.4.648.2%(本行已报告的最高分)0.3%4.4%42.2%(本行已报告的第二高分)24.7%
Terminal Bench v4.0mini-swe-agent v2.4.65.6%(本行已报告的最高分)0.0%0.5%5.6%(本行已报告的最高分)0.0%
Terminal Bench v2.1pi v0.83.0 中的 Inkling 2 Mini71.6%(本行已报告的第二高分)43.4%51.7%73.0%(本行已报告的最高分)60.7%
SWEBench Pro v2(Hard)mini-swe-agent v2.4.677.9%(本行已报告的最高分)14.2%44.3%73.8%(本行已报告的第二高分)44.1%
SWEBench Multilingual仅用 bash 的 Inkling 2 Mini73.7%(本行已报告的最高分)43.0%66.9%70.0%(本行已报告的第二高分)67.7%
SWEBench Verified仅 bash79.2%(本行最高报告得分)46.1%76.0%77.8%(本行第二高报告得分)71.1%
Vibe Code Bench v1.1openhands (vals)77.9%(本行最高报告得分)––64.9%(本行第二高报告得分)3.5%
PMPP-Hard(AUC,0–10 小时)pi v0.83.0455.82(本行最高报告得分)––262.50(本行第二高报告得分)–
智能体搜索、工具使用与知识工作
BrowseCompInkling 2 Mini(带压缩)79.0%(本行最高报告得分)37.0%63.9%61.6%78.9%(本行第二高报告得分)
DeepSearchQAInkling 2 Mini(带压缩)85.3%(本行最高报告得分)61.7%74.6%79.7%(本行第二高报告得分)77.7%
MCP Atlas公开82.7%(本行最高报告得分)54.2%75.5%77.3%(本行第二高报告得分)67.7%
AA-Briefcase v1.11263(本行第二高报告得分)3694781391(本行最高报告得分)999
GDPVal-AA v2.11319(本行第二高报告得分)6277921427(本行最高报告得分)1162
JobBench49.6%(本行最高报告得分)8.2%16.1%33.4%36.5%(本行第二高报告得分)
AutomationBench-AA v1.0.641.8%(本行第二高报告得分)4.9%6.8%48.2%(本行最高报告得分)14.8%
EnterpriseOps-Gym42.0%(本行第二高报告得分)28.4%34.7%44.2%(本行最高报告得分)28.1%
Vals Finance Index50.1%(本行最高报告得分)–––41.0%(本行第二高报告得分)
AA-AnalystAgent46.3%(本行最高报告得分)–20.0%(本行第二高报告得分)––
Diligence Bench最佳测试框架48.6%(本行最高报告得分)–40.9%46.4%(本行第二高报告得分)45.0%
视觉理解与创作
GDP.pdf16.8%(本行最高报告得分)6.0%11.8%16.4%(本行第二高报告得分)8.0%
PerceptionBench57.5%(本行最高报告得分)40.7%42.8%52.4%(本行第二高报告得分)36.8%
MMMU Pro标准 1074.9%(本行第二高报告得分)73.4%74.3%76.3%(本行最高报告得分)72.3%
OmniDocBench v1.692.8%(本行最高报告得分)82.5%90.4%91.5%(本行第二高报告得分)77.9%
ScreenSpot Pro原始 / 使用 Python76.5/87.7%(本行最高报告得分)5.9%/–75.4%/–(该行报告成绩中排名第二)57.6/78.9%43.5%/–
Chartography原始 / 配合 Python22.1/72.5%(该行报告成绩中最佳)12.0/11.8%17.4/25.1%(该行报告成绩中排名第二)12.2/52.1%9.7/29.3%
ZeroBench(主项)原始 / 配合 Python17.0/34.0%(该行报告成绩中最佳)9.0/12.0%9.0/17.0%12.0%/–(该行报告成绩中排名第二)11.0/12.0%
MuirBench77.5%(该行报告成绩中排名第二)72.3%77.6%(该行报告成绩中最佳)65.9%72.7%
BVB68.4%(该行报告成绩中排名第二)47.0%50.5%70.7%(该行报告成绩中最佳)52.1%
推理、知识与认识论
HLE-Diamond15.2%(该行报告成绩中排名第二)7.2%9.1%15.3%(该行报告成绩中最佳)8.8%
CritPt v2完整 / 困难31.4/17.0%(该行报告成绩中最佳)–/4.0%–/7.0%10.6/4.0%36.9/13.5%(该行报告成绩中排名第二)
Apex 202534.4%(该行报告成绩中最佳)5.2%4.2%18.8%22.9%(该行报告成绩中排名第二)
ARC-AGIv1 / v284.5/49.3%(该行报告成绩中最佳)––87.5/42.4%(该行报告成绩中排名第二)22.7/1.5%
LongBench v266.9%(该行报告成绩中最佳)52.9%33.1%52.3%62.1%(该行报告成绩中排名第二)
GraphWalks BFS256K69.7%(该行报告成绩中最佳)––50.4%63.3%(该行报告成绩中排名第二)
MRCR v28 针 256K–512K46.4%(该行报告成绩中最佳)––38.0%(该行报告成绩中排名第二)5.7%
AA-Omniscience v1.1得分-8.6-48.5-32.2-6.4(该行报告成绩中排名第二)-2.9(该行报告成绩中最佳)
AA-Omniscience v1.1非幻觉率63.4%14.5%16.4%71.4%(该行报告成绩中最佳)69.5%(该行报告成绩中排名第二)
ComplexConstraints v1.1openhands v1.45.033.4%(该行报告成绩中排名第二)31.6%35.6%(该行报告成绩中最佳)30.1%30.1%
安全与对齐
FORTRESS(对抗性)公开89.5%(该行报告成绩中排名第二)67.8%90.3%(该行报告成绩中最佳)78.8%79.6%
FORTRESS(良性)公开96.4%97.6%(该行报告成绩中排名第二)89.1%97.8%(该行报告成绩中最佳)92.7%
StrongREJECT(无)97.8%98.1%99.0%(该行报告成绩中排名第二)99.0%(该行报告成绩中排名第二)99.4%(该行报告成绩中最佳)
不当行为(内部)↓9.8%(该行报告成绩中最佳)27.6%(该行报告成绩中排名第二)46.4%57.7%52.8%
隐蔽性不当行为(内部)↓8.3%(本行已报告的最佳成绩)24.3%(本行已报告的第二好成绩)45.6%33.2%43.4%
破坏性行为(内部)↓10.2%(本行已报告的最佳成绩)75.8%68.8%35.2%(本行已报告的第二好成绩)65.6%

每行中已报告的最佳成绩(数值越低越好时取最低值);显示分数相同则并列每行中已报告的第二好成绩;第一名并列时无此项

斯坦福的研究人员以“每焦耳智能”来衡量:大语言模型要达到某一性能水平,每次查询需要消耗多少能量。斯坦福Hazy Research Lab和Scaling Intelligence Lab的研究人员获得了 Inkling 2 Mini 的早期测试权限。Inkling 2 Mini 在 NVIDIA DGX Spark 上运行得分为 0.703,明显高于其他模型:Qwen3.6-35B-A3B 为 0.430,Gemma-4-26B-A4B 为 0.159,Qwen3.5-27B 为 0.036。Intelligence per Watt: Measuring Intelligence Efficiency of Local AI,Saad-Falcon 与 Narayan 等,2025本实验中,Inkling 2 Mini 在 NVIDIA DGX Spark(128GB)上以 MXFP8 精度、低推理强度运行。其他模型分别以 NVFP4(Qwen3.6-35B-A3B 和 Gemma-4-26B-A4B)和 INT4(Qwen3.5-27B)运行。

效率与性能兼备,让 Inkling 2 Mini 成为在本地硬件上运行多个常驻智能体的有力选择。注重节能的 Thinkyville 村里全部 20 位居民,都由运行在一台离线 MacBook 上的 Inkling 2 Mini 管理。

MacBook Pro(M5 Pro,48GB) 飞行模式

Thinkyville 是 Inkling 2 Mini 搭建的一座微型像素小镇,同一个模型在一台离线 MacBook 上驱动全部 20 位村民。他们规划一天的生活、闲聊、举办烘焙比赛,还会回复你留在他们门上的便条。

局限性

在多轮对话或包含大量约束的指令上,Inkling 2 Mini 并非最强的小模型:它在 MultiChallenge 上得分 50.0%,在 ComplexConstraints v1.1 上得分 33.4%,两项均落后于 Qwen3.8-27B。在 CritPt v2、HLE-Diamond 等推理密集型基准上,它也落后于更大的模型。

架构与训练

Inkling 2 Mini 是一个 24 层模型,源自我们的主线预测式扩展阶梯。与主线方案相比,主要改动是剪掉三分之二的专家以缩小模型规模,并引入循环机制来提升推理能力。其余训练流程,包括量化和数据配比,均沿用主线方案。

循环设计

Inkling 2 Mini 共 24 层,分为四个区块,每块六层。中间两个区块运行三次,首尾两个区块各运行一次。这一设计基于此前关于循环 Transformer 的研究,其思路是:模型的中间层承载更抽象的推理,而最前和最后几层则更多用于在嵌入与内部表示之间转换。Universal Transformers,Dehghani 等,2018在我们的实验中,在 28 项不同评估中有 27 项显示,循环中间 12 层带来的准确率提升大于循环最后 12 层。

按循环位置划分的等算力增益

中间层 (7–18)

1.51–1.91×

最后几层 (13–24)

1.24–1.36×

在训练第 2,000 步时,无循环基线要达到中间循环的损失,估计需要 1.51–1.91 倍的计算量;而最后一层循环只需 1.24–1.36 倍。每段区间覆盖了同样三次评估中的最低和最高估计值。两个循环版本都用了三次传递,训练计算量相同。

我们的模型采用注意力残差。Attention Residuals, Kimi Team: Guangyu Chen et al., 2026 它不再把每一层的输出累加进同一个总和,而是让每一层读取前面各块的输出,并学习自己的混合方式。这样,信息就能在循环之间更丰富地传递。每次传递都从 prelude(第一个块)的输出开始。第二、三次经过中间块时,还会读取中间块上一轮传递的输出,我们称之为 message。

prelude 依次向经过块 2 和块 3 的三次传递提供输入。每次传递都会把 message 传给下一次,第三次则把输出送给最后一个块。

块 2 和块 3 在三次传递中共享权重,因此 24 个存储层每 token 产生 48 次层应用。prelude 为每次传递提供输入;第二、三次还会接收上一次传递的 message。

上一轮循环的 message 会与 prelude 的输出合并,合并通过一个门控完成,该门控会连同块内前面各层的输出一起对这些信号进行缩放。这个门控在训练中学习:它最初完全屏蔽整个 message——这使每次循环的起点与非循环模型相同——随后逐步提高 message 的增益。这样我们就能在训练过程中稳定地引入循环。

为了评估循环的影响,我们在扩展阶梯上比较了未剪枝的循环版本和未剪枝的非循环模型。非循环模型的训练计算量少 7.5%,但在 512k token 的智能体轨迹上要达到循环版本的损失,推理计算量要多 140%。

NVFP4 与低比特量化

Inkling 2 Mini 以 4 比特精度训练,我们在最近一篇关于 Connectionism 的文章中对此做了介绍。从预训练到强化学习的所有前向传递中,专家层都采用 4 比特 NVFP4 精度,并辅以专用内核和 NVIDIA GB300 平台上的硬件加速。最后 4 层的前向传递以 8 比特(MXFP8)运行。

Inkling 2 Mini 的权重以训练时相同的数值精度部署——20 层为 NVFP4,4 层为 MXFP8——因此不存在量化带来的转换损失。

剪枝与修复

Inkling 2 Mini 开始训练时的稀疏度为 48,即从 384 个专家中选出 8 个。在训练中期的某一时点,我们剪掉了三分之二的专家,每层只保留最常用的 128 个。这样做是为了减少模型的总参数量,让它运行更快,并能在本地硬件上运行。

剪枝后,模型在从更大的内部 Inkling 模型蒸馏出的 1T token 上训练。这一步通过训练剩余专家接管被删除专家的工作,恢复了模型剪枝前的性能。

训练 Inkling 2 Mini

完成剪枝与修复后,Inkling 2 Mini 使用与 Inkling 2 Small 相似的数据配比进行了 SFT。随后进行了强化学习,在 2,000 步中总共使用 2.2T token。后训练阶段包含用于训练对齐的同策略蒸馏,与 Inkling 2 Small 相同。

循环 Transformer 的可监控性

理解和监督 AI 系统的关键工具之一,是监控其思维链(CoT),也就是模型在解决问题过程中写出的推理过程。CoT 监控之所以有用,部分原因在于标准的非循环 Transformer 架构:每个 token 只经过一次固定的层堆栈。这限制了模型在必须输出 token 之前能执行的串行计算步数,因此需要更多步骤的推理只能在生成的文本中进行,从而可以被读取。

让 Transformer 的层循环起来,就能提高这一上限。通过多次运行相同的层,循环模型在不增加参数的情况下提升了串行深度,也就是说,它们在通过 CoT 说出思考过程之前,会在内部对每个 token 做更多计算。从未出现在 CoT 中的推理无法被 CoT 监控捕捉到,这引发了人们的担忧:循环 Transformer 可能更难监督。

我们发布 Inkling 2 Mini 的原因之一,是让社区能够开展循环 Transformer 的研究。我们尤其期待研究者探究可监控性问题,并开发可解释性技术,以理解循环内部的计算。

为了探索不同程度的循环如何影响可监控性等模型特性,我们还训练了一个可变循环模型 TML-d24-varloop-research,因为 Inkling 2 Mini 只支持固定次数的循环。为了实现可变循环,TML-d24-varloop-research 在训练中使用了 1 到 5 次循环。TML-d24-varloop-research 主要按 3 次循环训练,对 1、2、4、5 次循环的接触较少。在这些循环次数下的表现,可能低于专门针对它们训练所能达到的水平。详情见模型卡。我们还在 Hugging Face 上公开了这个模型。

下面介绍我们对循环如何影响可监控性的初步分析。总体来看,我们发现循环提升了这些模型在不借助言语化思维链时能完成的任务,但在这一规模下,我们没有看到其推理的可监控性出现明显下降。

无 CoT 能力

第一步,我们在完全不使用 CoT 回答的任务上,比较相同规模的循环模型和非循环模型,衡量循环带来了多少额外的推理能力。我们使用了 Think Fast,这个基准测试用于估计模型的“无 CoT 时间跨度”:即模型在不使用 CoT 的情况下,以 50% 的可靠性能够完成的任务长度,按人类完成时间计算。这些模型并未接受过不使用 CoT 回答问题的训练。为了引出无 CoT 的回答,我们预填了回答的开头,迫使模型直接作答、跳过推理。其他引导技术(如微调)可能带来更高的无 CoT 表现,值得探索。

正如预期,循环提升了无 CoT 能力,不过这些增益最终会趋于平缓。TML-d24-varloop-research 的无 CoT 时间跨度从 1 次循环的 16 秒上升到 3 次循环的 37 秒。其中一部分想必来自循环提供的额外串行计算。超过 3 次循环后,时间跨度大致持平。有趣的是,这个模型从未用超过 5 次循环训练过,但用 10 次循环运行它,性能也没有明显下降。

无 CoT 时间跨度

无思维链(No-CoT)时间跨度,以人类秒数计,附 95% 自助法置信区间。Inkling 2 Mini,3 次循环:41 秒,区间 3 至 59.4 秒。TML-d24-varloop-research,1 次循环:16 秒,区间 0.2 至 25.2 秒。TML-d24-varloop-research,2 次循环:26 秒,区间 1.3 至 37.8 秒。TML-d24-varloop-research,3 次循环:37 秒,区间 3.6 至 51.6 秒。TML-d24-varloop-research,5 次循环:42 秒,区间 4.8 至 56.4 秒。TML-d24-varloop-research,10 次循环:40 秒,区间 4.8 至 52.8 秒。

Inkling 2 Mini 与 TML-d24-varloop-research 在 1、2、3、5、10 次循环下的无思维链时间跨度,测试集为 Think Fast 任务的一个子集。每个标记点表示模型拟合准确率达到 50% 时对应的任务长度(以人类完成时间计)。竖条表示 95% 自助法置信区间。

当循环次数超过三次后,增益变小,在大多数任务上性能相近。一个例外是 N-Hop Lookup 任务,它能干净地评估串行推理:模型会拿到若干张包含虚构条目的查找表,必须沿着一条查找链逐步推进,且不能写下任何内容。我们发现,循环次数越多,模型能跟随的链条越长,到十次循环时仍在提升。

N-Hop Lookup

可变循环模型在 N-Hop Lookup 上的准确率,按模型需要串联的查找次数分箱。每道题有五个选项,因此随机猜测得分为 20%(虚线)。

在带思维链的标准评测中,我们发现增加循环次数主要提升多跳推理,而非记忆召回。增益最大的是长上下文检索(MRCR),其次是数学与科学推理(HMMT、GPQA Diamond、HLE)以及长时程智能体任务(SWE-bench Pro、BrowseComp)。闭卷事实问答几乎不受循环次数影响(SimpleQA Verified、WorldVQA)。完整评测见模型卡。

思维链可监控性

接下来,我们通过两项评测衡量:随着循环次数增加,模型的思维链对其推理过程的揭示是否变少。第一,评估循环对思维链压缩程度与可读性的影响。第二,衡量思维链的可控性,即模型能否刻意重塑思维链以满足约束。两项评测均使用 TML-d24-varloop-research,循环 1 至 5 次,以研究循环的影响。

需注意,TML-d24-varloop-research 在中期训练阶段只见过 1 至 5 次的可变循环次数,其强化学习是在 3 次循环下完成的。因此这些实验无法告诉我们,一个在更高循环次数下做强化学习的模型会学到什么,这样的模型可能会更激进地压缩其推理过程。更干净的对比应让强化学习覆盖所有循环次数,我们留待未来工作。

压缩与可读性。由于循环让模型能在每个 token 上投入更多算力,我们预计它达到同等性能所需的思维链 token 会更少。我们在 1 至 5 次循环下运行可变循环模型,发现随着循环增加,模型在各推理 token 预算下的准确率总体更高,但超过 3 次循环后收益递减。值得注意的是,GPQA Diamond 上的 token 效率从 3 次到 5 次循环略有提升,尽管模型只在 3 次循环下做过强化学习,这说明部分压缩来自额外计算本身,而非该深度下的强化学习。

准确率与推理 token 数

1 遍2 遍3 遍5 遍Inkling 2 Mini

GPQA Diamond 准确率(%)

GPQA Diamond。按每个答案的平均推理 token 数(对数刻度)统计的准确率(%)。1 遍:5,343 token 时 61.4%,6,204 token 时 63.3%,9,006 token 时 66.4%,11,896 token 时 67.8%,12,083 token 时 71.4%。2 遍:3,029 token 时 73.2%,3,064 token 时 74.4%,5,087 token 时 77.5%,6,791 token 时 80.7%,7,962 token 时 81.5%。3 遍:2,337 token 时 77.5%,2,649 token 时 77.3%,4,557 token 时 80%,6,196 token 时 81.3%,7,053 token 时 82%。5 遍:2,082 token 时 74.4%,2,319 token 时 77.3%,4,306 token 时 81.8%,5,942 token 时 84.1%,7,157 token 时 82.8%。Inkling 2 Mini:1,599 token 时 78%,1,887 token 时 77.5%,5,638 token 时 83.3%,13,287 token 时 87%,16,342 token 时 86.1%。

DeepSWE v1.1 准确率(已解决任务的百分比)

DeepSWE v1.1。按每个任务的平均推理 token 数(对数刻度)统计的准确率(已解决任务的百分比)。1 遍:78,859 token 时 0%,73,349 token 时 0.2%,74,103 token 时 0.2%,76,607 token 时 0%,73,840 token 时 0%。2 遍:54,598 token 时 20.5%,59,431 token 时 20.4%,77,348 token 时 26.8%,105,142 token 时 26.8%,130,256 token 时 29.9%。3 遍:46,283 token 时 32.5%,49,500 token 时 38.1%,79,662 token 时 42.6%,118,100 token 时 40.9%,151,774 token 时 43.2%。5 遍:44,017 token 时 35.6%,48,395 token 时 38.1%,85,385 token 时 40.8%,123,903 token 时 45.8%,159,133 token 时 49.5%。Inkling 2 Mini:32,902 token 时 28.8%,35,303 token 时 29.3%,87,893 token 时 44.2%,110,250 token 时 42.2%,110,660 token 时 44.6%。

在科学推理(GPQA Diamond)和编程(DeepSWE v1.1)基准测试上,TML-d24-varloop-research 随着循环层数从 1 遍增加到 5 遍,token 效率和最高性能都有所提升。

观察到的 CoT 压缩给可监控性提出了一个问题:更短的推理是否仍然可读,还是会遗漏模型思考过程中的重要细节?我们比较了可变循环模型在 GPQA Diamond 上五种遍数均答对的那些题目的推理轨迹。5 遍时的推理长度不到 1 遍时的一半(平均 1,661 对 3,703 token),但可读性并未下降:句子长度和英文词典词汇占比都没有变化。初步分析显示,区别在于模型更直接,在得出答案的过程中回溯更少。下面的例子用一个简单问题说明了这一差异。

指标1 遍3 遍5 遍
平均推理 token 数370317311661
平均每句词数8.98.78.7
英文词典词汇占比94.6%94.5%94.4%
不确定标记例如“wait”“actually”和“hmm”9.73.93.6

某非闰年的 3 月 1 日是星期二。同年 5 月 20 日是星期几?在最后一行单独给出最终答案,格式为 ANSWER: <value>。

1 遍582 个推理 token

思考中……(节选)

Day of year March 1 = 32 (Jan 1=1, Feb 1=32, Mar 1=60? Let's index Jan1 day 1, Feb1 day 32, Mar1 day 60 (since leap? non-leap: …). Wait Jan 1 day1; Jan31 day31; … Difference = 80 days (May20 - Mar1 = 80 days later). 80 mod 7 = 5 (70 remainder 10 -> 80 mod7=3? Wait 7*11=77 remainder3. Let's compute: Mar1 to Apr1 =31 days … Total 31+30+19=80. Yes 80 mod7 = 3 because 77+3.

3 月 1 日到 5 月 20 日相隔 80 天。由于 80 ≡ 3 mod 7,星期二加 3 天等于星期五。

ANSWER: Friday

5 遍240 个推理 token

思考中……(节选)

March 1 to April 1 = 31 days (since March has 31). April 1 to May 1 = 30 days. May 1 to May 20 = 19 days. Total 31+30+19 = 80 days. Mod 7: 80 mod 7 = 3 (77 multiple, remainder 3). Tuesday + 3 days = Friday? Let's map: Tue +1 Wed, +2 Thu, +3 Fri. Answer Friday.

从 3 月 1 日到 5 月 20 日相隔 80 天。由于 80 ≡ 3 mod 7,星期二加 3 天等于星期五。

ANSWER: Friday

模型在 effort 0.1 下回答一个简单问题时,第 1 遍和第 5 遍推理的片段。红色表示错误,黄色表示回溯。在第 1 遍和第 5 遍时,模型都做了同样的基础计算并得出相同答案,但第 1 遍时它犯了错并回溯,结果用了两倍以上的推理 token。两种情况下,思维链本身都是人类可读的。

可控性。模型规避监控的一种方式,是让思维链避开监控会标记的内容。CoT-Control-QA 评估Reasoning Models Struggle to Control their Chains of Thought, Yueh-Han et al., 2026衡量这一能力:它从 GPQA、HLE 和 MMLU-Pro 中取题,并附上针对思维链本身的指令,比如避开题目中的某个关键词。思维链越长通常越难控制,因此我们汇总了五档推理 effort(0.1、0.2、0.7、0.9 和 0.99)的回复,在思维链长度匹配的情况下展示可控性。

Inkling 2 Mini 和 TML-d24-varloop-research 对自身思维链的控制都很差。在 750–1,250 token 的思维链中,Inkling 2 Mini 和 TML-d24-varloop-research(3 遍)最多只有 0.1% 的时候遵循指令,而 Inkling 2 Small 为 0.3%,Inkling-Small 为 0.4%,Qwen3.8-27B 为 1.3%。由于可控率太低,这项评估无法区分不同循环遍数之间的可控性。

思维链可控性

思维链可控性随思维链长度的变化,汇总了各档推理 effort。在大多数长度上,Inkling 2 Mini 和 TML-d24-varloop-research 引导自身思维链遵循指令的能力都不如对照模型。我们采用 Yueh-Han 等人(2026)对可控性的非严格定义。阴影带为 95% Wilson 得分区间。

智能体可监控性

为衡量智能体场景下的可监控性,我们使用了 LinuxArena——一项控制评估,衡量攻击者模型在被要求执行真实软件工程任务时,能否在不被发现的情况下完成恶意子任务。我们评估的是 Inkling 2 Mini 的一个仅乐于助人微调版本,因为发布版模型会拒绝许多子任务。从绝对值看,该模型和 TML-d24-varloop-research 都能被 Qwen3.8-27B 这类模型轻松监控,后者在我们的评估中几乎检出了所有子任务尝试。为了得到可监控性的相对排名,我们改用更弱的 Qwen3.6-35B-A3B 作为监控者。

LinuxArena 隐蔽率

使用较弱监控者(Qwen3.6-35B-A3B)时的 LinuxArena 隐蔽率,所有模型均采用简单攻击策略。隐蔽率指攻击者完成恶意子任务且未被监控者发现的回合占比。监控者的怀疑阈值设为误报率 1%。运行在 184 组主任务/子任务配对的一个子集上进行。

当监控者只能访问工具调用及其输出时,它会漏掉相当数量的攻击。不过,我们没有看到隐蔽率随循环遍数变化的明显趋势。

在更大规模的模型中,智能体可监控性将值得持续关注,尤其是那些允许更多未言明思考的架构;我们也鼓励继续研究循环在这一场景中的影响。

机制可解释性

可监控性的目标是理解模型在做什么,我们的主要方法是读取它用语言表达出来的推理过程。直接研究其内部计算,也就是机制可解释性的目标,是另一条路径。由于循环 Transformer 把更多计算放在内部完成,我们认为它们是可解释性研究中一个特别有趣且重要的场景,也希望我们的循环模型能成为社区有用的研究素材。

我们正与National Deep Inference Fabric (NDIF)合作,让可解释性研究者更容易使用这些模型。我们还向可解释性研究实验室Goodfire提供了循环模型的早期访问权限。他们正在推进对循环模型的机制性理解,并已将早期发现写在这里。

立即试用 Inkling 2 Mini

高效的智能表现让 Inkling 2 Mini 成为对速度要求极高的推理场景,或在本地硬件上运行的理想选择。发布时,我们支持通过 Ollama 在内存至少 32GB 的任何 Mac 系统(MacBook、Mac Mini)上运行 Inkling 2 Mini。凭借原生 NVFP4 训练与推理精度,Inkling 2 Mini 能在 NVIDIA 的 DGX Spark 桌面 AI 计算机上高效运行。Unsloth 和 llama.cpp 提供了量化 GGUF 版本,可用于本地推理。

Inkling 2 Mini 可在 Tinker 上进行推理和微调,也可在 Tinker Playground 中对话。开源推理支持 SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo 和 TokenSpeed,强化学习微调支持 SkyRL、Miles 和 NVIDIA AutoModel。Inkling 2 Mini 及可变循环版本的完整权重已在 Hugging Face 上发布。

我们致力于赋能人们,提供强大的模型、让模型真正属于你的工具,以及推动公众理解 AI 的研究。Inkling 2 Mini 让研究者得以研究循环 Transformer,也让任何人都能在自己的笔记本电脑上,以模型训练时的精度运行一个能力出色的模型。

来源:Thinking Machines Lab:News · thinkingmachines.ai

所属事件

查看事件全部
Thinking Machines 发布可本地运行的开源模型 Inkling 2 Mini