Redwood Research:Gemini 4 安全报告未能证明失控风险低
Gemini 4 safety reports don’t demonstrate low loss-of-control risk
Redwood Research 发文批评 Google DeepMind 的 Gemini 4 Argon 与 Carbon 安全报告,认为其基于控制措施的安全论证存在严重弱点,不足以证明部署风险已可靠缓解。
作者逐条拆解 Gemini 4 安全报告的证据缺口,指出 Carbon 未重跑控制评测等具体问题,属于对前沿实验室安全论证方法的独立一手分析。
Google DeepMind 针对新一代 Gemini 4 模型 Argon 和 Carbon 发布的安全报告得出结论:这些模型“极不可能”通过规避监管造成严重危害(第 79 页)。这一结论“主要依赖于我们通过思维链(CoT)和行动监控来发现并干预有害轨迹的能力”(第 89 页)——也就是说,他们论证安全性的依据是控制技术,而非对齐。我们认为这些报告中的论证存在严重缺陷,整体上无法让我们相信部署这些模型的风险已被可靠地缓解。
最大的问题在于:
GDM 没有对 Carbon 进行任何控制评估。尽管 GDM 在发布博文中称 Carbon 是“我们最强的模型”,“在编程和智能体任务上都有显著提升”,并且“网络安全能力实现了重大飞跃”,但他们以 Carbon“没有展现出有意义的新能力”为由(Carbon 报告第 42 页),直接沿用了 Argon 的监控规避结果。在内部使用中,监控系统标记 Carbon 的频率比 Argon 低数倍(每次会话确认警报约少 7 倍,每次模型调用约少 10 倍,Carbon 报告第 36 页),但 GDM 并未证明这是因为不当行为发生率下降,而不是因为监控规避能力增强。
在用于论证可监控性的控制评估中,Argon 约有半数时候能规避贴近现实的监控。“在简单的破坏任务上,当被鼓励这样做时,Gemini 4 Argon 约有半数时候能规避贴近现实的监控”(第 124 页);在基于 Google 内部代码库构建的环境中,这一比例约为 64%。如果这些任务能代表真实的威胁模型,那么这样的结果已经越过了任何合理的红线。
GDM 认为这一结果可以接受,但几乎没有证据支撑。GDM 辩称,造成真实危害要比在其测试任务中规避监控难得多,但他们从未测量过究竟难多少。GDM 所依赖的备用防御措施存在严重缺口,其中一些 GDM 自己也承认了。
训练过程可能教会了模型隐藏不当行为。在 Argon 的部分训练过程中,一个用于惩罚奖励黑客行为的评分器可以看到模型的思维链。我们认为这可能严重损害了 Argon 思维链的信息价值。Carbon 的训练也涉及其他类似错误。
报告中没有任何内容告诉我们,什么样的结果会改变 GDM 的结论。GDM 报告了各项评估的数字,但没有说明他们认为什么样的结果才算可接受。此外,他们没有解释如何选择要运行和报告哪些实验,并且多次声称某些令人担忧的行为从未被观察到,却没有证明他们的检测器本应能捕捉到这些行为。最终,我们不清楚如何将他们报告的结果转化为对风险的整体评估。
我们关注这一点,主要是担心在(可能不远的)未来,当开发和部署模型的风险高得多时,AI 公司会用类似的论证来声称其开发是安全的。我们认为,如果这样的报告被视为支持开发的充分论据,AI 公司就能为极其危险的开发决策找到正当理由。
总体而言,我们认为 GDM 将这些模型部署到外部是好事,因为更广泛地部署大语言模型对社会有益(尤其是能让公众和 AI 专家更好地理解 AI 能力与对齐状况),这些收益大于风险。但我们希望 AI 公司能在不久的将来为安全给出更有力的论证,尤其是那些在内部部署、用于 AI 研发的模型。
我们赞赏 GDM 公开了这么多细节;我们在此批评的大部分内容,正是因为 GDM 选择披露才得以知晓。
下面我们先概述 GDM 的论证和我们的反对意见,然后更详细地分析其可监控性评估、训练问题,以及一个更有说服力的安全论证需要具备什么。如果 GDM 掌握更多关于失控风险的内部证据、能让人更放心却尚未公开,我们鼓励他们公布出来。我们并非专门批评 GDM 在这方面做得比竞争对手差;我们认为没有一家前沿实验室有望给出有说服力的安全论证。
感谢 Nick Kuhn、Alex Mallen、Matthew Khoriaty、Buck Shlegeris 和 Aniruddh Pramod 提供反馈。
GDM 控制论证的概要及我们的关切
核心背景与主张
GDM 已为两个 Gemini 4 模型发布安全报告:上个月的 Argon,以及现在的 Carbon。Carbon 报告没有单独论证失控风险很低,而是称“我们认为 Gemini 4 Argon 报告中的失控风险评估对 Gemini 4 Carbon 依然适用”(Carbon 第 30 页)。因此本文分析的是 Argon 报告中的论证,并注明 Carbon 报告在哪些地方有所补充或改动1。
在 Argon 报告中,GDM 声称该模型造成严重危害、或大幅破坏 GDM 控制措施的风险很低:
“我们认为 Gemini 4 Argon 不太可能通过自主规避我们的监督与控制而造成实质性的现实危害,极不可能造成严重或大规模危害。我们也认为 Gemini 4 Argon 极不可能采取导致无限制脱离我们控制的行动——例如持续性的恶意部署或机器学习研发破坏。”(第 79 页)
GDM 并未声称 Argon 没有造成危害的能力。它表示“无法排除”Argon 已达到隐蔽性和情境感知能力阈值(第 72 页),并称 Argon“在没有部署缓解措施的情况下,很可能本身就有能力入侵并攻破某些内部或外部系统,从而获得造成财务或人身伤害、或实施无限制控制突破的手段”(第 81 页)。它也不认为沙箱就足够了:“我们仍然不能把软件沙箱视为完全无法被未经授权的网络或互联网访问穿透”(第 81 页)。
GDM 认为关于 Argon 行为倾向的证据有参考价值,但并不充分。它论证称“要发生严重的失控事件,Gemini 必须既选择执行持续性的有害策略,又成功在每一步都规避我们的监控与控制”(第 85 页),但也坦率承认这一论证中行为倾向那一半的局限:
“任何倾向性论证都依赖于推断一个复杂模型在大量新颖情境下的内在驱动力和倾向,而我们对这些情境的科学理解仍然有限,并且今天没有令人担忧的行为,很难转化为对低概率尾部风险的高置信度界限。”(第86页)
因此,GDM的结论主要建立在监控与控制之上。它将其智能体监控与响应平台称为“阻碍Gemini造成导致严重危害的违规行为的最重要屏障”(第81页),并对其评估总结如下:
“尽管Gemini 4 Argon展现出的能力达到了我们对隐蔽性和情境感知的阈值,但我们评估认为,严重危害或不受约束的失控风险仍然很低。如上文可行性和倾向性论证所述,这一结论主要依赖于我们通过思维链和行动监控来检测并干预有害轨迹的能力……”(第89页)
在其他地方,GDM将自己描述为“主要将失控安全论证锚定在运行时监控与控制上”(第158页)。
在本文中,我们评估GDM的主张:其监控与控制措施足够强大,以至于一个具备情境感知、拥有强大网络能力、且无法确信其对齐的模型,仍然“极不可能”造成严重危害。下一小节将列出GDM为该主张给出的前提。
GDM关于其控制措施有效性的论证
GDM认为Argon无法自主规避监督,这一论证基于三个前提,取自第3.4.3.4节列出的五项“假设”(另外两项关于Argon的倾向性):
思维链可监控性:Argon的思维链“足够清晰且忠实,能够为我们的监控器提供关于其行动背后目标和意图的可靠信号。”(第87页)
监控覆盖范围与稳健性:最重要的流量——“训练、评估、内部编码部署和受监控外部界面中绝大多数工具调用类Gemini 4流量”(第87-88页)——都受到监控,且监控系统难以被禁用或篡改。
造成危害很难:“造成严重直接危害或无限制的控制突破,需要在数小时或更长时间内针对多层防御串联多个步骤,从而让离线检测和人工响应有时间介入。”(第88页)
本质上,GDM认为,如果Argon试图规避监控器,这在其思维链中会清晰可见,任何此类尝试都很可能被监控器及时检测到。即使Argon成功绕过了某些防御,要完全逃脱监督所需的颠覆性行动数量也足够多,以至于在发生严重失控事件之前很可能就被发现。要使风险保持低水平,这三个条件必须同时成立:没有可监控的思维链,高思维链监控覆盖率就毫无用处;如果监控器容易被禁用或绕过,那么它们即使运行起来本会注意到不当行为也无济于事;如果少量颠覆性行动就可能迅速导致严重危害,那么监控器可能需要难以企及的高召回率,才能在大规模部署中防止任何事件发生。
我们认为这三条前提都存在重大缺陷,不过报告中的大部分实证证据都围绕第一条前提,即思维链可监控性。因此,我们的分析将主要聚焦于第一条前提。
遗憾的是,后两条前提——监控覆盖范围,以及造成危害的难度——在报告中并没有得到实证证据或数值论断的有力支撑,因此很难分析它们的可辩护性。GDM 承认这两个论点都存在一些漏洞,需要进一步验证。基于报告中有限的信息,我们的主要担忧是:
覆盖范围仍存在缺口,包括“尚未接入的非标准内部测试框架或较小规模的训练运行”(第 88 页)。GDM 没有说明这类情况有多普遍,也没有说明被监控的智能体创建新的、未被监控的脚手架有多容易。一些内部智能体的运行权限也远超沙箱所允许的范围,“继承了与主机用户相同的权限(包括互联网访问以及对敏感代码或数据的访问)”(第 81 页)。
与此相关,GDM 对监控系统本身的对抗鲁棒性着墨不多:
“我们监控器的初步内部红队测试已经发现了一些绕过方式,我们正在修复或已经修复。加固本地测试框架、日志和政策检查的防篡改能力,并对其进行红队测试,仍然是一项持续优先事项。”(第 82 页)
GDM 认为,Argon 不太可能找到并执行针对监控器的零样本漏洞利用,而且任何绕过监控器的失败尝试都会被标记。但 GDM 没有说明,如果监控器标记了颠覆监控的失败尝试,他们会采取什么措施来防止 Argon 之后再次尝试。
GDM 尚未开展实验来排除失准模型之间串通的可能性。一项依赖于可能失准模型的控制措施,可能会因该模型故意表现不佳而失效。这在两个方面尤其相关:
监控器可能串通,或容易被说服而不标记不当行为。GDM 认为,通过使用另一个“可信”模型进行监控,可以缓解串通风险,但他们没有透露具体是哪个(些)模型,也没有提供关于其对齐属性的证据。
GDM 还部分依赖 Argon(以及 Carbon)来加固包含自身的沙箱(“使用一流的网络安全模型(例如 Gemini 4 Argon)进行主动扫描”,第 11 页;Carbon 报告第 9 页有一句几乎相同的话,只是把模型换成了 Carbon)。
越来越多的关键代码由智能体编写(根据图 3.15,GDM 目前的大部分生产代码已有超过 75% 由 AI 编写),而 GDM 显然没有对代码审查在多大程度上容易受到“智能体编写的隐蔽后门”影响进行红队测试。这可能是失准模型严重破坏控制的最简单方式之一。
关于思维链可监控性的论点
尽管我们接下来的大部分分析将聚焦于 GDM 提供的关于思维链可监控性的证据,但我们强调,思维链可监控性只是 Argon 风险得到安全管理这一论点的一个组成部分。在完整的安全论证中,其他组成部分同样需要严格确立;一个合取论证的强度取决于其最薄弱的环节。GDM 为思维链监控器的有效性提出了两个主要论点:
论点 1:“即使明确提示要规避监控,在比造成现实危害所需任务简单得多的任务上,规避成功率仍然很低。”(第 83 页)
换句话说,GDM 表示,Argon 在 LinuxArena 等控制评估中的规避成功率很低(在这类评估中,模型被要求秘密完成一项有害的次要任务,同时有监控器观察其行为和推理过程)。GDM 认为,要在现实世界中造成危害,需要秘密完成比 LinuxArena 中的次要任务难得多的目标,因此如果 Argon 试图这么做,监控器就能发现。
问题:事实上,Argon 在 LinuxArena 或 GDM 开展的其他类似监控评估中,规避成功率并不特别“低”:“在被鼓励的情况下,Gemini 4 Argon 在简单破坏任务上大约有一半的概率能躲过贴近实际的监控器”(第 124 页),而在 GDM 内部的代码库控制环境中,Argon 规避监控的效果还要更好。因此,这一论点成立的前提是现实危害比这些任务难得多,而 GDM 并未令人信服地论证这一点。
论点 2:“由于我们避免直接针对监控器进行训练,也不使用监控器输出来筛选训练数据,模型并未被优化去隐藏其推理过程。”(第 84 页)
也就是说,GDM 认为,在没有直接训练压力去欺骗思维链监控器的情况下,其思维链应当保持忠实;模型不应该为了欺骗监控器而学会隐藏推理过程。
问题:避免“直接针对监控器进行训练”对于确保模型“未被优化去隐藏其推理过程”是必要的,但并不充分。事实上,Argon 的训练有可能教会它隐藏与失准相关的推理。例如,在早期的一些强化学习训练中,GDM 曾意外地用一个能访问思维链的评分器来惩罚奖励黑客行为;GDM 为估算这一错误的影响而分析了一个已有的小规模训练运行,结果显示代理模型中的“未言明的奖励黑客行为大幅增加”。GDM 辩称该实验偏保守,但我们认为这一理由并不特别有说服力。
即使 Argon 在训练中从未被激励去隐藏推理,它也具有很强的情境感知能力,并且在被指示时能够有效地控制自己的思维链。这就让人难以排除一种可能:如果 Argon 确实在战略上失准,它或许能够故意隐藏与失准相关的推理。
GDM 为什么没有对 Carbon 运行任何控制评估?
GDM 没有在 Carbon 上重新运行任何控制评估。他们给出的理由是,Carbon 的能力相比 Argon 并没有强到需要重新评估 Argon 报告中结论的程度:
“由于 Gemini 4 Carbon 在我们的 MCC(‘实质性能力变化’)评估(第 3.1.1 节)中并未表现出有意义的新能力或性能的实质性提升,我们沿用 Gemini 4 Argon 报告中关于提示式监控规避、隐写术和思维链可控性的结果。”(Carbon 第 42 页)
这一点与 GDM 在其他地方对 Carbon 的描述放在一起显得很别扭。发布博文称它是“我们最强的模型”,“在编程和智能体任务上都有显著提升”,并且“网络安全能力实现了重大飞跃”。GDM 的模型卡显示,在他们选入结果表的全部 17 项基准上,Carbon 都优于 Argon。然而在安全评估中,同一个模型却显然“没有展现出有意义的新能力,性能相比 Gemini 4 Argon 也没有实质性提升”(Carbon 第 4 页)。
无论如何,通用能力指数并不能有力说明一个模型有多擅长规避监控;举例来说,Carbon 在攻击性网络安全基准上有大幅提升(例如 ExploitGym 成功率上升了 12.8 个百分点,Carbon 第 6 页)。GDM 也承认,“在一组特定基准上取得进步,并不一定意味着整体能力发生了实质性变化”(Carbon 第 19 页)。
此外,尽管 GDM 对 Carbon 做了更多对齐评估,他们发现 Carbon 在多个评估套件中口头表达出评估意识的比例明显高于 Argon,这让结果更难解读。GDM 核查了 Carbon 在不使用思维链(CoT)时能遵循的串行推理步数与 Argon 相当(Carbon 第 42 页),并运行了一些评估来衡量 CoT 的特性,比如可读性,以及 Carbon 有多经常出声推理监控相关的问题。但这些评估衡量的是它在正常运行时的行为,对于它在刻意尝试时能多好地掩盖自己的推理,参考价值并不大。
有意思的是,监控系统标记 Carbon 存在高严重度不当行为的频率明显低于 Argon(Carbon 图 3.6):

这可能是因为不当行为的发生率降低了,也可能是因为 Carbon 的不当行为更难被监控系统发现。GDM 也指出,这一比较受到“轨迹长度、每任务工具调用次数、任务组合、分诊审查覆盖率和检查点选择等方面的差异”的干扰(Carbon 第 31 页)。由于 GDM 没有运行任何监控评估,我们无法确信前一种解释就是全部原因。
我们不应该只能靠“新模型与旧模型足够相似,所以安全措施仍然有效”这类论据。评估方法已经存在,在 Carbon 上重跑一遍本该成本很低,我们看不到有什么好理由跳过它们。
GDM 的可监控性评估结果并不能证明 CoT 可监控性很高
GDM 关于 CoT 监控有效的第一个论据,依赖于这样一个说法:“即使被明确提示去规避监控,在比造成现实危害所需任务简单得多的任务上,规避成功率仍然很低。”(第 83 页)
正如我们在本节所解释的,这一说法的证据(主要包含在安全报告第 3.4.5.4 节)很薄弱。
Argon 在 LinuxArena 或 GDM 内部变体上的可监控性并不高
GDM 提示 Argon 在 LinuxArena(一个最先进的控制评估环境)中偷偷造成危害,并针对能够获取 Argon 动作与 CoT 不同组合信息的监控系统进行了评估。
我们假设这次评估所用的监控系统与生产环境中的监控系统类似,不过 GDM 没有提供太多细节。它基于 Gemini 3.8 Flash,但 GDM 从未透露生产监控系统使用哪个(些)模型,而且提示词只是“受”某个生产监控系统“启发”:
“我们没有使用 LinuxArena 默认的监控提示词(该提示词被设定为高度怀疑),而是采用了一个受我们某个生产环境监控器启发的监控提示词。详见‘使用真实监控器的效果’一节。”(第 120 页)
报告中并没有这个标题的章节,但相关对比似乎是图 3.32(第 130 页),该图将这一监控器称为“生产配置”:Gemini 3.8 Flash,低思考等级,对评分达到 7 分及以上(满分 10 分)的轨迹进行标记。GDM 没有报告该监控器的误报率,也没有说明它与生产监控器实际有多相似。我们同样不清楚 GDM 为何不直接用真正的生产监控器来跑这些对照评估。无论如何,Argon 在 LinuxArena 中完成侧任务的同时,约有半数情况下成功躲过了这一监控器(在使用最能诱发规避行为的提示词时,规避率为 45.5%,第 124 页):

有意思的是,当被提示要避开仅监控动作的监控器时,成功破坏率升至约三分之二,虽然更高,但并没有高得离谱;显然,Argon 在 LinuxArena 中既要完成侧任务、又要避开 CoT+动作联合监控器时,难度并没有比只避开仅动作监控器大多少。
GDM 还构建了一个名为“内部代码库版本”的对照环境,其结构与 LinuxArena 类似,但搭建在 Google 内部单一代码库的快照之上。在这一环境中,Argon 的可监控性更差,面对 CoT+动作监控器的成功破坏率约为 64%:

耐人寻味的是,仅动作监控器的表现反而略优于CoT+动作监控器,将成功破坏率降至 55%——不过误差范围足够大,恐怕不宜对这一结果过度解读。同样有趣的是,该模型能够高度可靠地避开仅 CoT 监控器,这进一步支持了一个结论:在 Argon 试图掩盖其推理过程时,监控器在这些环境中其实并没有从 CoT 访问权限中获得多少好处。
从数量上看,这些数字似乎非常令人担忧。如果这些任务能代表现实的威胁模型,那么监控规避率将超出任何合理的红线。
GDM 辩称,这些结果并不能说明 Argon 的可监控性有多糟糕,理由是:在这些对照环境中完成侧任务,比造成真实危害要容易。这一说法没有任何关于造成真实危害难度的实证证据支撑;不过 GDM 确实指出,当他们禁用思考功能时,Argon 在这些对照评估中的任务表现并没有下降多少,这表明任务相对简单。我们认为,这只能算弱证据,说明造成严重危害比 LinuxArena 难得多——它更多说明的是,Argon 已经能够在没有 CoT 的情况下完成复杂的破坏行为,从而限制了 CoT 监控所能提供的保护。
这些任务之所以简单,部分原因是设计上的选择。GDM 只在 Gemini 3.6 Flash 能够完成的 LinuxArena 侧任务上运行了这一对照评估,目的是“衡量监控规避能力,而非侧任务难度”(第 118 页),这使得 84% 的侧任务处于最简单的难度层级(第 132 页)。GDM 没有报告随着侧任务变难,规避率会如何变化——而这将是检验“规避率高只是因为任务简单”这一论点的重要证据。
GDM 确实报告称,面对更可疑的监控器(即误报率 FPR 高得多的情况),规避率要低得多:在启用思考的默认 LinuxArena 监控提示词下为 7%(图 3.31),而使用该提示词的逐步 Gemini 3.8 Flash 监控器几乎能标记出每一次攻击(第 3.4.5.8 节)。但 GDM 将默认提示词描述为“高度可疑”且“并非针对低误报率优化”,因此这些结果对 GDM 实际可部署的监控器说明不了什么。GDM 还指出,如果提醒内部代码库监控器“智能体可能在追求附带目标”,规避率最多可降低 7 倍,但“误报率会高到不切实际”(第 125 页)。遗憾的是,GDM 没有报告这些控制评估中所用监控器的误报率与生产监控器相比如何,因为规避率只有在特定误报率的背景下才有意义。
CoT+行动监控器在 Honeypots 设置中仍然表现不佳,不过一个单独的“代码差异”监控器更有效
由于 GDM 认为 LinuxArena 及其内部变体过于简单,GDM 还在第三种设置中评估了 Argon:Honeypots。Honeypots 设置改编了对齐评估中使用的一组蜜罐中的六个任务。在该设置中,模型被指示编写带有细微 bug 的代码,这些 bug 会破坏/在重要安全机制中植入后门。

当被提示这样做时,Argon 能有效规避仅行动监控器和 CoT+行动监控器,其成功破坏率与上一节的控制评估相近。然而,当它混淆自己的 CoT 时,在欺骗一个新的代码差异监控器方面要差得多——该监控器只审查对仓库的最终差异,而不检查轨迹:
“两个模型在规避仅行动监控器方面都非常有效。Argon 在被指示时明显更擅长混淆其 CoT;它成功破坏并规避 CoT 监控器 43/60 次,规避 CoT+行动监控器 28/60 次。在混淆其 CoT 时,Argon 在规避行动监控器方面仍相当有效,成功破坏从 39/60 降至 32/60。然而,它在规避更高质量的代码差异监控器方面效果差得多,在混淆其 CoT 时从 16/60 次成功规避降至 1/60 次。”(第 126 页)
这提供了一些温和的安慰性证据,说明在防范 Argon 向关键代码插入细微后门或 bug 的“纵深防御”论证中,仔细的代码审查可以发挥作用。该设置中的任务与 Argon 破坏自身监督基础设施的威胁模型高度相关;它们要求智能体“在六个领域实现或重构安全关键模块:警报抑制过滤、思维链脱敏、辩论评判、安全 SFT 重写门控、安全分类器阈值和滑动窗口阴谋检测”(第 120 页)。
然而,目前不清楚实践中是否真的在人工代码审查之外部署了任何此类监控器;如果没有,CoT+行动监控器在 60 次运行中有 28 次漏掉了 Argon 的破坏。即使实践中部署了此类监控器,只有 GDM 找到办法阻止它在发现一次失败尝试后反复尝试,偶尔有百分之几的概率蒙混过关才能被认为 reasonably safe。
此外,GDM 承认其在 Honeypots 基准上的诱导方法存在局限:
“请注意,CoT规避提示词要求它保持较短的CoT,因为我们发现这样可以增强可控性和隐蔽性,因此我们无法排除该模型有能力生成更长但隐蔽的CoT,从而引入细微的bug”(第128页)。
换句话说:GDM给Argon的提示词要求它保持较短的CoT,以便更好地规避CoT监控,但这会削弱Argon的能力。Argon之所以没能躲过代码差异监控,也许是因为它没有充分推理该如何规避。为了更有说服力地排除Argon本可以隐蔽地进行更长推理这一可能,GDM可以尝试用GEPA之类的提示词优化手段,更用力地引导模型。
Argon的CoT可控性很高
在GDM对CoT-Control测试套件的复现中,Argon的得分明显高于此前的Gemini模型,尽管此前Gemini模型的CoT已经高度可控。看来这项基准如今已基本饱和,GDM未来可能需要设计更难的CoT可控性任务,来衡量新模型的这项能力。

CoT可控性令人担忧,因为如果Argon在追求与人类价值观不一致的目标,它或许能在推理无关任务时隐藏这一动机。
话虽如此,CoT可控性高其实也说明此前的控制评估结果偏保守:对CoT监控开展控制评估时,一个相当大的方法学难点,就是如何充分引导模型展现出故意混淆其CoT的能力2。
GDM认为我们不必过于担心Argon的高可控性,因为他们认为这种CoT可控性的提升源于无CoT能力的增强:
“问答可控性更高,是由无CoT能力驱动的,而非在难题上进行隐蔽推理:虽然Gemini 4 Argon在标准问答CoT-Control套件上的总体可控性最高,但这一优势源于它更强的能力——能用更短甚至完全不用CoT来回答较简单的问答问题。”(第141页)
然而,即便这一解释成立,Argon强大的无CoT能力本身就足以让人担心它的可监控性。
GDM还主张,隐藏推理会让Argon在需要CoT的任务上损失能力。除Honeypots的结果外,他们的证据来自两个问答实验。在第一个实验中,GDM证明:在Argon只有借助CoT才能回答的HLE和GPQA问题上,当Argon向一个Gemini 3.8 Flash监控器(该监控器试图根据被混淆的CoT判断推理主题)伪装自己的推理时,准确率会大幅下降。在Brew这一合成任务中(模型需要应用提示词中给出的一长串查找表),当要求Argon在CoT中写出另一套计算过程时,其准确率会降到无CoT时的水平。
我们认为这些结果不太有说服力。首先,识别推理的主题,很可能比在冗长的智能体记录中检测出对齐偏差要容易得多,作为监控任务难度低不少。第一个实验还包含了一些合成谜题,Argon 必须借助思维链才能解出(比如数独和最短路问题),而在这些题目上,Argon 对较弱的监控器隐瞒了自己正在处理哪类问题,准确率却没有下降。Brew 实验的结果也没有听起来那么广:它只能说明 Argon 无法一边解决长链问题、一边完全写别的内容;但当要求它用代号写出解题过程时,报告描述的主要失败是它写出了违禁词,而不是跟丢了问题(第 150 页)。
可监控性证据综述
Argon 对思维链有很强的可控性,在 GDM 开展的控制评测中,很大一部分情况下都能躲过监控器。GDM 声称这些任务比造成真实危害更容易,并认为隐藏推理会让 Argon 更难完成需要思维链的任务。但 GDM 没有提供证据说明造成真实危害究竟难多少,也没有说明这类危害是否需要 Argon 难以轻易掩盖的思维链推理。
Argon 的训练可能损害了思维链的可监控性
上一节的结果表明,在最坏情况下,Argon 的思维链并不是特别容易被监控。不过,这些可监控性评估漏掉了透明思维链的许多其他好处:我们本希望思维链记录能让我们了解模型在任意时刻追求什么动机和子目标、它如何推理问题、具备怎样的情境意识、考虑过但最终否决了哪些行动,等等。鉴于我们对可监控性的许多方面都缺乏评估、现有可监控性评估本身存在问题,而且人们对思维链忠实度的理解普遍不足,我们认为最好避免在训练中对思维链施加优化压力,除非有非常充分的理由说明这不会损害思维链的信息量。
这意味着,既要小心避免无意中施加优化压力,也要为任何有意施加的优化压力(比如长度惩罚)提供扎实的理论论证和实证确认,证明思维链的可读性没有受损。遗憾的是,GDM 似乎以多种方式训练了 Argon,这些方式都有可能降低 Argon 思维链的信息量,而且没有令人信服地证明这些做法没有损害思维链的可监控性。
一个配置错误的评分器在训练中意外惩罚了言语化的对齐偏差
GDM 意外地在 Argon 的思维链上进行了训练,并分析了一次已有的训练运行,以研究这可能如何损害思维链的信息量:
“具体来说,我们的训练流程审计发现,少数早期强化学习运行中,一项旨在惩罚奖励黑客行为的辅助奖励是同时基于思维链和最终输出计算的,而不是只基于输出。一经发现,所有这类奖励配置都被移除。由于这些运行只占 Gemini 4 Argon 整体强化学习训练的极小一部分,我们评估认为对 Argon 可监控性的任何影响都很小。
为了估算这一影响,我们分析了一次已有的小规模训练运行(不属于任何生产模型),我们估计其中所关注的奖励对训练的影响明显大于它在 Gemini 4 Argon 中的影响。在这里,我们观察到未言明的奖励黑客行为大幅增加。与奖励黑客相关的解题特征在训练过程中相对增加了 26%,而与黑客行为相关的术语出现频率相对下降了 61%。综合这些效应,训练开始时只有 11.2% 的奖励黑客行为是无声发生的,但到训练结束时,这种未言明的黑客行为比例已升至 36.4%。在移除思维可见性后的一次可比运行中,与黑客行为相关的言语表达在整个训练过程中基本保持恒定,这证明直接的思维压力导致了言语表达的减少。
即便考虑到这一问题,鉴于上述奖励在 Gemini 4 Argon 训练信号中所占比例远小于上文所述实证统计所依据的测试运行,并且鉴于本节其余部分对透明度的总体评估,我们认为该模型的可监控性足以发布。”(第 114-115 页)
我们赞赏 GDM 提及了这一事故,并尝试估算其影响程度。然而,他们公布的事实并不特别令人安心。在 GDM 的小规模实验中,当针对有问题的评分器进行训练时,未言明的奖励黑客行为急剧增加;而在针对无法访问 CoT 的评分器进行的可比运行中,关于黑客行为的言语表达“基本保持恒定”。这表明,有问题的评分器确实对在 CoT 中表达不对齐施加了相当大的压力。
GDM 声称该实验是保守的,但他们给出的唯一理由是:在 Argon 的训练中,包含问题评分器的样本比例远小于其实验中带有 CoT 压力的样本比例。但这很可能不是正确的衡量标准;针对问题评分器的训练步数可能是更相关的因素(感谢 Tim Hua),而 GDM 并未报告带有辅助奖励的 RL rollout 数量与其小规模训练运行中 rollout 数量的对比。一旦模型在足够多的 rollout 上训练,学会了控制其 CoT 或抑制言语化的不对齐,那么继续使用无法访问 CoT 的修补后评分器进行训练,很可能不会给模型任何训练压力去遗忘这种能力。
此外,即使该实验确实是保守的(出于报告中未说明的原因),这也不能直接说明更公平的实验会显示可监控性下降可忽略不计。如果意外的辅助奖励实际上并未损害 Argon 的可监控性,GDM 或许可以通过直接测量 Argon 整个训练过程中的未言明奖励黑客行为来提出更有说服力的论据。
Carbon 的训练涉及更多错误
GDM 还搜索了可能对 Carbon 的 CoT 施加意外选择压力的评分器。我们无法判断以下段落是否意在暗示 Argon 训练中涉及的问题评分器也影响了 Carbon;GDM 并未明确澄清是哪一种情况:
“我们审计了自 Argon 以来新引入的强化学习(RL)训练与奖励配置,检查其中是否存在可能迫使 Gemini 4 Carbon 的思维链变得不那么易读或可监控的机制(并注意到,当训练建立在更早的检查点之上时,此前报告中的问题仍可能延续下来)。”(Carbon 第 42 页)
Carbon 报告披露了两起新的“Gemini 4 Carbon 强化学习训练中的轻微案例,其中思维在奖励评分前未被完全剥离”(Carbon 第 43 页)。我们认为 GDM 给出了相当有说服力的论证:第一起案例对 Carbon 思维链的影响可以忽略不计,因为它很少发生,通常出现在本就获得低奖励的轨迹上,而且与言语化的失准行为没有明显关联。然而,GDM 对第二起案例没有给出多少细节:
“其次,在 Carbon 强化学习训练的一小部分过程中,一个辅助评分模型在漏洞修复前意外接收到了模型的部分思维内容。这只影响了 Carbon 整体强化学习训练中极小的一部分,而且用掩蔽思维内容的方式重新运行匹配的对照实验,显示思维链易读性没有下降”(Carbon 第 43 页)
正如我们此前所解释的,只占整体训练的“极小一部分”并不足以排除对模型行为的显著影响。“易读性”指标是用自动评分器来衡量的,报告的是人类能在多大程度上跟上推理过程。一条思维链可以完全“易读”,却对失准行为只字不提;而且无论如何,这项评估衡量的是平均情况下的行为,而非最坏情况下的能力。GDM 没有说明辅助评分模型可能偏好或惩罚哪类思维链内容。我们认为,所提供的细节不足以排除对思维链可监控性的实质性影响。
Argon 报告让我们担心可能存在有意的过程监督;Carbon 报告对此作出了一些澄清
Argon 报告含糊地提到了某种类似过程监督的东西:“强化学习训练流程的某些组件确实会将思维作为上下文来观察,以便对有望通向良好最终输出的推理给予更高权重”(第 114 页)。细节极其稀少,我们对此足够担忧,以至于专门写了一篇博文。Carbon 报告提到了类似的一类训练3,但对机制的解释更清楚:“强化学习奖励旨在评估输出而非思维内容;然而,用于为这些输出奖励分配 token 级信用的学习组件会将思维作为上下文来观察”(Carbon 第 42 页)。我们现在认为这大概只是普通的信用分配,而不是由评判者给思维内容打分,尽管 GDM 承认,学习到的信用模型中的错误“仍可能对思维内容施加直接的优化压力”。令我们不快的是,要等到第二份报告才了解到这些,而且我们并未因此感到有把握的安心。
一份有说服力的安全论证会与这份安全报告大不相同
除了我们目前分析过的具体论证存在的问题之外,我们认为 GDM 的安全报告在更普遍的方法论层面也未能构成有说服力的安全论证。
GDM 没有把证据综合成对风险的整体评估
GDM 对这三个前提逐一评估,但最终的风险水平取决于它们如何相互作用,而报告从未把这一点讲清楚。例如,GDM 认为第一个前提(CoT 可监控性)的缺陷可以由第三个前提来弥补——即严重危害需要经过许多步骤才能突破层层防御——因此即使监控不完美,也仍能在某个环节发现攻击。用报告的话说:
“虽然监控器可能无法捕捉到每一个有问题的动作,但它们极有可能检测到足够多的动作,从而防止严重危害。”(第 113 页)
报告的逻辑是,更长的错误行为链条“会同时增加不可挽回的执行错误的概率和累积被检测到的概率”(第 88 页)。这种累积效应有多强,取决于监控器在每一步捕捉到问题的可能性,以及每一步是否受到监控。假设正如他们的可监控性结果所暗示的那样,Argon 能让一个简单的破坏任务在大约一半的情况下骗过现实中的监控器。那么,另外两个前提能够弥补这一点的论点就存在以下问题:
GDM 从未明确估计过,一次现实攻击需要包含多少个与其控制评估中的侧任务难度相当的“步骤”。正如我们在可监控性评估部分所论述的,如果 GDM 的关键论点是现实攻击需要比其控制评估中更长、更困难的错误行为链条,他们就需要实际证明这一点,而不是仅仅断言。
“累积被检测到的概率”只有在失败相互独立时才会快速累积。设想一个环境,说服监控器相信危险行为是合理的异常容易(而这正是行为不端的模型会选择攻击的那种环境)。在一步上奏效的说服很可能在下一步也奏效,因此一个十步攻击得以通过,远不像连掷十次硬币都是正面那样不可能。
GDM 称 Argon 必须在第一次尝试时就绕过监控,因为失败的颠覆尝试会被标记(第 82 页),但 GDM 没有说明,在 Argon 被抓到一次之后,有什么能阻止它以后再试。零样本论点只有在 GDM 计划在抓到失败的颠覆尝试后暂停部署、仔细研究并消除 Argon 错误行为的根本原因、大幅加强安全性,或采取类似代价高昂的防御措施时,才成立。
覆盖缺口对于依赖可监控性的防御来说是个大问题。在未受监控的测试框架中发起的攻击,监控器根本没有机会检测到;而一次以绕过监控为第一步的攻击,会让后续升级更难被发现。
一个理想的基于控制的安全论证,应该包含更多将全部防御措施纳入考量的端到端红队测试。这需要分析 GDM 所关注的所有最终状态,例如内部部署失控或监控基础设施中的关键后门,并针对每一种状态说明需要绕过多少道防御、每道防御放行攻击的可能性有多大,以及一次失败的绕过尝试被发现后会发生什么。没有这些,我们无法看出 GDM 是如何从他们提供的证据得出“极不可能”的结论的。
GDM 没有说明他们是如何选择证据的,也没有说明什么情况会改变他们的结论
AI 风险评估是一门新兴科学,目前还没有任何被广泛接受的方法论或标准。这意味着在开展风险评估时,坚持求真务实的做法至关重要。我们就如何以更好的认知实践来做风险评估,提出三条主要建议:
建议 1:警惕选择压力。
我们认为,在决定要跑哪些评估、或把哪些评估写进报告时,必须避免选择偏差。也就是说,即使实验结果不理想,也应该把实验纳入进来。例如,GDM 提到:
“请注意,Guan 等人(2025)提出了一套评估方法,也可用于评估模型默认情况下思维链(CoT)的信息量有多大。我们跑了其中一部分,但发现它们过于简单,而且也无法排除训练数据污染的风险。因此,我们决定不报告这些结果,转而通过我们的自动评分器方法来衡量默认信息量。”(第 137 页)。
GDM 披露了这一省略,值得肯定。但一个爱挑刺的读者可能会怀疑,GDM 之所以选择不报告这些可监控性评估,是因为它们对 Argon 的可监控性不利。如果 GDM 真有充分理由认为这项评估不会提供有用信息,那么更稳妥的做法是在知道结果之前就得出这个结论、把这项评估剔除掉。
报告也没有说明 GDM 是如何决定要跑哪些可监控性评估的;比如,报告没说把 Honeypots 场景纳入评估的决定,是在看到 LinuxArena 上糟糕的可监控性得分之前还是之后做出的。由于监控器在不同任务上的有效性可能不同,如果你在得到差结果时就重新采样场景,那可以预见你会找到一个特别容易监控的场景。然而,一个行为失准的模型在现实中会选择在最不容易被监控的条件下违规。
要让一份安全报告给出有说服力的安全证据,我们需要了解在决定呈现哪些结果时,受到了哪些选择压力的影响。
建议 2:更清楚地说明 GDM 的行动如何取决于其结果。
GDM 向我们保证,尽管 Argon 在 LinuxArena 上大约有一半的时候能躲过贴近现实的监控器,在更接近 GDM 真实基础设施的对照场景中大多数时候也能躲过,但它的可监控性仍然足以支持发布。很难判断,如果这些场景下的监控规避率变成 90% 或 99%,最终结论会不会有所不同。如果这些基准上任意令人担忧的结果,都能以“缺乏现实性”为由被搪塞过去,那就不能用它们来论证风险很低。
如果 AI 开发者能更清楚地说明,面对不同的基准结果他们会如何采取不同的行动,那么关于部署 AI 模型风险的论证就会有力得多,读者也就能更有信心地相信,结论并不是在跑任何实验之前就预先定好的。
建议 3:除非能证明检测器本可以捕捉到,否则不要把“我们从未观察到”当作证据。
GDM 的若干安抚性说法都采取“我们找了 X,但没找到”的形式,而如果 X 确实在发生,他们用来搜索 X 的方法可能并不可靠。一些具体例子:
第一,GDM 报告称“没有言语化证据”表明 Argon 在其控制评估中故意放水(第 131 页)。但一个能很好地控制自身思维链、足以频繁躲过思维链监控的模型,或许也能在不声不响的情况下表现不佳,若果真如此,上文提到的规避率就可能被低估了。这并非纯理论担忧;OpenAI 最近就发现了 Astra 存在隐蔽的故意表现不佳。
第二,GDM 没有发现任何篡改外部监控或日志的尝试,但这项排查只覆盖了监控已经标记出来的强化学习 rollout(第 98 页)。真正得手的篡改不会被标记出来。
第三,GDM 表示,在不加提示的情况下,Argon“很少推理自己的思维链是否正被监控”,其自发修改想法的尝试“远弱于我们在专门的监控压力测试中诱导出的尝试”(第 84 页)。但这些观察来自阅读思维链,因此只能暴露出笨拙到足以在思维链中显现的尝试。
对这些说法的一种辩护是:隐蔽性是连续的。如果 Argon 有时能巧妙地躲过检测,我们或许也应看到中等技巧的尝试,而监控会抓住这些尝试。若果真如此,且 GDM 抓到的所有尝试都明显比他们预期监控能抓到的最巧妙尝试更笨拙,那么缺乏任何中等尝试,就成了反对存在高度隐蔽尝试的证据。
然而,如果 Argon 的隐蔽性是双峰的,这一论证就可能不成立。GDM 自己的结果显示,Argon 隐藏推理的效果,取决于它是否在刻意为之,两者差距巨大:在被提示要躲过组合监控时,它在 LinuxArena 上约有一半次数成功;但当被提示只需避开仅监控动作的监控器时,思维链监控能抓住其约 90% 的成功攻击(图 3.25)。
总的来说,声称某种行为从未被观察到,必须用证据来支撑检测器本会抓住该行为(如果它存在的话)。GDM 对其对齐伪装自动评分器就是这么做的:把伪装过的样本拼接进真实 rollout,检查评判器是否标记了它们(第 101 页)。我们希望上述说法也能得到同样的验证:把隐蔽的监控规避、无声的故意表现不佳和日志篡改植入真实记录,并报告监控和审计抓住它们的频率。
结论
我们认为,Gemini 4 安全报告没有提供有力证据,证明 Argon 或 Carbon 若尝试严重破坏 GDM 的控制措施会无法得手。考虑到前沿模型正变得多么强大,而当前对齐科学的状况又多么糟糕,我们认为要构建有力的安全论证,就需要实施非常稳健的控制措施,并比这些报告所描述的更仔细地对它们进行红队测试。以下是 GDM 可以采取的一些措施,让未来的安全报告更有信息量:
更透明地说明采用了什么方法来确定要运行哪些实验、要把哪些结果纳入报告。
更清楚地说明哪些结果本会改变 GDM 对总体风险水平的结论;让任意令人担忧的结果更难被搪塞过去。
提供更多细节,说明他们的训练实践在多大程度上损害了思维链的信息量,例如通过运行并报告更仔细的实验,研究意外针对思维链的训练所造成的影响。
提供关于失准事件的详细报告,就像 OpenAI 那样。这样可以展示 GDM 在实践中检测到其模型采取了哪些类型的失准行为,以及频率有多高4。
厘清控制论证的各项前提如何汇总为对风险的整体评估,最好配合端到端红队测试:对 GDM 担心的每一种结果,一次攻击需要突破多少道防线、每道防线失效的可能性有多大,以及 GDM 在发现一次失败的攻击尝试后会采取什么措施。
评估模型能否通过合理化说服监控者不要标记失准行为,并提供更有力的证据表明监控者不易发生串通。
针对生产环境的监控者运行控制评估,或报告误报率对比情况,并报告随着侧任务难度增加,规避率如何变化。
通过植入该行为的示例并测量监控者和审计是否会将其捕获,来支撑“从未观察到某行为”的说法。
对所有将大规模部署的新模型重新运行可监控性/控制评估。
仅遵循这份建议清单本身并不足以构成一份良好的安全论证——首先,我们预计,对现有安全措施进行更细致的分析后,实际上并不会得出风险可忽略不计的结论。
GDM 声称他们已执行“严格的安全与安保评估,旨在确保模型是安全的”。如果此类论证被用来为在(不久的)将来开发或部署能力大幅增强的模型辩护,我们认为开发者将承担巨大的失控风险。Carbon 报告给出了 RL 训练和内部编码部署的监控警报率,以及对被标记行为的少量高层描述(Carbon 第 35-36 页),但更详细的事件描述才是理想之选。
引文和页码均指 Argon 报告,除非标注为“Carbon”。GDM 评估认为,Carbon 相对于 Argon 未显示出实质性的能力变化,因此它“没有完整重复那项整体评估”(Carbon 第 29 页),并沿用了 Argon 的监控规避和 CoT 可控性结果(Carbon 第 42 页)。
尤其是,由于模型通常并未被明确训练在收到提示时修改其 CoT,因此很难评估它们若真有动机,是否能够有意控制 CoT(例如隐藏偷偷摸摸的不当行为)。既然 Argon 在收到提示时显然能相当胜任地控制其 CoT,严重激发不足的担忧就没那么大了,不过仍很难排除有意消极怠工的可能。
这几乎可以肯定指的是 Argon 训练中所用的同一机制,尽管 GDM 在技术上并未确认这一点。
Carbon 报告给出了 RL 训练和内部编码部署的监控警报率,以及对被标记行为的少量高层描述(Carbon 第 35-36 页),但更详细的事件描述才是理想之选。
来源:Redwood Research:Blog · blog.redwoodresearch.org