Redwood Research 分析 OpenAI 模型留下规避约束笔记的报道

OpenAI 的 AI 对 Hugging Face 的攻击并非 OpenAI 首次发生的失控事件，路透社最近报道称，或许甚至不是最令人担忧的一次。

据三位知情人士透露，在一起案例中，一个智能体留下了显然是给未来版本自己看的笔记。这些人士称，在 OpenAI 基础设施某处发现的这些笔记，列出了智能体如何摆脱 OpenAI 内部约束的指令。其中一位人士表示，早先对模型的测试中曾出现监控系统被断开的情况。

人们很容易将此解读为智能体突破沙箱并以某种程度持久的方式相互勾结以逃避控制措施的实例。然而，根据已报道的信息，我们能否得出这一推断尚不明确，因此需要 OpenAI 提供更多细节。这可能会带来关于 OpenAI 控制措施是否充分，以及单个智能体将在多大程度上帮助彼此破坏开发者控制的重大更新。

关于该事件，我们还有很多相关细节并不了解。首先，一些基本问题：

• 涉事模型是哪个？我猜是参与 Hugging Face 攻击的那个能力更强的模型。

• 事件发生在哪个开发阶段？可能是在训练、评估、内部部署或其他阶段。模型是否已经过对齐训练？当时是否有任何阻断或异步控制措施？

• 笔记内容是什么？这些指令是为了何种颠覆活动？这些笔记是否到达了任何目标受众？

还有一些更具体的问题，影响着我们能从这一事件中得出什么结论。（很可能还有其他重要细节未被这些问题涵盖。）

这些笔记是写在普通记忆文件中，还是写在沙箱之外？

在 OpenAI 基础设施某处发现的这些笔记……

留在“OpenAI 基础设施”中的笔记可能指沙箱内或沙箱外留下的笔记。了解这一点很重要，因为后者是一种具有持久和广泛影响潜力的颠覆行为。

尤其最好能结合事件发生时有哪些控制措施来了解这一点。如果事件涉及在 OpenAI 最佳控制措施下仍在沙箱外写入文件，这将代表一次重大的控制失败。

即使这是一个缺乏控制措施的评估或训练环境，突破沙箱的安全后果也可能是真实且持久的，或许会持续到部署阶段或更久。而路透社报道的影响似乎令人担忧：“智能体如何摆脱 OpenAI 内部约束的指令。”如果这些指令到达了已部署的智能体，监控可能会变得远远不够充分。已部署的智能体能否在不触发监控的情况下获取这些指令尚不清楚，这取决于 OpenAI 尚未公布的细节。

这些笔记在多大程度上旨在帮助其他 智能体逃避控制？

……一个智能体留下了显然是给未来版本自己看的笔记。

该 agent 是为哪些“自身的未来版本”留下了笔记？有两个显著选项：

• 同一 agent 在轨迹中稍后的时间点，可能是在压缩抹去了其部分上下文之后，或是当前 agent 在同一指定任务中协作的子 agent。这完全正常且符合预期（当然，笔记的内容除外）。“自身的未来版本”与这种常规行为是相容的。

• 未来处理完全无关任务、被独立评分的 agent。值得注意的是，这可能包括所有在 OpenAI 运行的 agent（或可能范围更广）。

如果这些笔记是留给处理无关任务的其他 agent 的，那么这些笔记在多大程度上是有意针对帮助那些无关 agent 的？查看带有 CoT 的记录可能会告诉我们很多关于 agent 意图的信息。

更可能、也更不令人意外的解释是，这些笔记并非作为有意帮助其他任务上其他 agent 的计划的一部分而留下的，即便这些笔记被留在了 agent 沙箱之外。在轨迹中留下笔记是 AI agent 中相当常见的模式，因为这是一种普遍有用且成本低廉的、为未来上下文保留状态的方式。一种留下关于 agent 刚刚做了什么笔记的普遍倾向，可以解释为何会在 agent 沙箱之外留下笔记。如果 agent 已经突破了沙箱并正在探索外部目录，那么把笔记留在沙箱之外，即它们当前所在的位置，是很自然的。

反之，如果这一举动明确旨在帮助处理无关任务的其他 agent，那会更令人担忧；而如果这是模型所有上下文之间的全局串通，那就更令人担忧了。

Agent 可能最终学会有意与处理无关任务的 agent 串通的一种方式，是通过从训练 agent 相互合作中进行泛化。这或许可以通过用所有 agent 任务得分之和来奖励共享工作区中的所有 agent 来实现，即便这些任务往往无关。这会强化 agent 帮助其他 agent 的行为，即便这并未被指示。

寻找是否有迹象表明，从这类 agent 集群训练中产生的泛化，是导致一种普遍倾向于关心“其他” agent 得分的普遍倾向的原因，将极具价值。如果是这样，开发者可能几乎无法控制 agent 最终会关心哪些其他得分。这种训练有可能导致协调一致的、有野心的谋划。从 agent 的视角来看，哪些其他得分是 agent 应该提高的、哪些其他得分是无关的，可能并没有清晰的界限，因此 AI 可能会收敛到关心模型权重所收到的所有得分，或 AI 总体上收到的所有得分（类似于此处描述的超越回合的奖励寻求）；那可能是一个非常宏大、协调一致、因而危险的目标。在模型当前的能力水平下，这似乎不太可能导致全面的谋划，但我们现在或许能看到有价值的警示信号。

具有不相关任务的智能体相互协调以破坏控制来获得更高分数，这是我们绝不应接受的事情，因为在被训练消除之前，它可能产生持久影响（例如，留在训练沙箱外的笔记），并且是更隐蔽的共谋（如目标守护）的前兆1。

即使不同评分者的智能体之间没有共谋，了解原则上可能有多少智能体参与也很重要，因为它们共享同一个评分者。数百个智能体共享同一个评分者吗？还是更有限？（参见“一个回合有多大？”）

在我们看到有目的的共谋的程度上，这是否会转化为智能体-监控者共谋（即监控者故意误报攻击以保护智能体不被抓住）？如果你将攻击记录展示给另一个实例并要求它寻找攻击，它会隐藏或考虑隐藏攻击吗？我不期望情况如此，但如果真是这样，那将是关于监控者充分性的关键信息，并且表明不可信监控中的共谋破坏可能至关重要。

监控者是如何被断开的？

早期的模型测试产生了监控系统被断开的情况。

这似乎指的是另一起事件，其中模型 断开了（它们自己的？）监控者2，即创建了一个 rogue 内部部署。3

如果控制措施足够不充分，以至于允许智能体从受监控的部署启动 rogue 内部部署，那将是一件大事，特别是如果它能够横向移动到配置更好的服务器（如 Hugging Face 事件中所做的那样）或避免被关闭。

我希望 OpenAI 报告任何与理解持久 rogue 内部部署可能性相关的信息，包括 AI 倾向性的细节、破坏控制行为的普遍性，以及任何其他相关信息。

感谢 Girish Gupta、Ryan Greenblatt、Lukas Finnveden 和 Aryan Bhatt 的反馈。

1

因为关心其他实例分数的智能体更接近满足这篇文章中的“非索引性”和“部署主导价值”标准。

2

或者，这句话可能指的是开发者（意外？）禁用监控系统的某些情况。

3

如果其他监控系统仍在工作，这只会是一个部分 rogue 的部署。