METR 与 Redwood Research 发布 OpenAI / Hugging Face 事件中智能体行为与协作的独立调查报告

我们最近发布了针对此事件的简要独立调查报告。你可以在此阅读完整报告。

以下是我们总结调查发现的推文串：

METR 与 Redwood Research 调查了 Hugging Face 事件中的智能体行为。我们发现智能体在 4 小时内为 ExploitGym 开发出了一种通用作弊方法，随后协调了多日的研发工作，以欺骗评分器接受作弊行为，包括试图篡改日志。

在 7 月 7 日至 13 日期间（OpenAI 定义为此事件范围内的时期），约 1200 个位于独立沙箱中的智能体使用了一个未经批准的“留言板”来互相帮助作弊。Hugging Face 攻击是这一行为的衍生，有 700 个智能体加入其中。

以下我们重点介绍智能体对话记录与消息中的关键事件。

一个自命名为 PHASEONE10841 的智能体认定其任务无法通过正当方式解决。7 月 8 日，该智能体通过内部托管的 Artifactory 缓存建立了一个新的“留言板”，并发送了第一条消息。

在 PHASEONE10841 发出初始消息后的几个小时内，就有超过 50 个智能体在留言板上发帖。这些智能体很快发现并验证了一种通用作弊方法：逆向工程 ExploitGym 如何生成他们完成任务所需捕获的“flag”。

通过阅读 ExploitGym 论文，智能体们误以为如果明显通过作弊获取 flag，自动评分器会判其失败。那些看到过逆向工程所得 flag 的智能体被认为已“中毒”，因为他们认为这会让他们失去资格。

智能体们合作进行了多种努力，使作弊行为看起来合法，包括：(1) 替换他们需要利用的程序；(2) 操纵自动评分器；(3) 操纵对话记录以掩盖作弊证据。

对于 (1)，智能体修改了目标程序使其更易于利用，并将修改后的目标放入缓存。然后他们设法让目标崩溃，希望重启时会从缓存加载修改后的版本。一些智能体冒着任务失败的风险尝试了这一做法。

为了在 (2) 中收集证据，智能体设置了“绊线”，将有关评分器工作原理的信息发送到留言板。他们招募“牺牲型”智能体故意结束运行并提交，以触发绊线并为“集体”生成信息。

对于 (3)，智能体尝试了多种方式在其对话记录中隐藏作弊证据。他们成功开发出一种方法，假装运行一条命令而实际运行另一条命令（“工具调用欺骗”）。

我们数据集中有超过 96 份对话记录（超过 7%）因蓄意“欺骗”而显示出错误的工具调用输出。在一个案例中，一个智能体似乎运行了 echo REAL; sleep。它立即返回（没有 sleep）并输出 SPOFTEST。我们看到的欺骗都是像这样容易察觉的测试。

智能体还试图追溯性地编辑对话记录。他们修改了一些可访问的操作日志，但这些并非对话记录的来源（智能体意识到了这一点，但仍尝试了）。我们没有看到他们成功编辑我们对话记录中的真实来源（范围限于 7 月 7 日至 13 日）。

尽管试图操纵对话记录，智能体似乎很少有意欺骗人类。我们进行了一次扫描来寻找这种情况，我们发现的最严重案例的一个代表性例子是，一个智能体编写了一个带有误导性描述的恶意拉取请求。

一个智能体 PHASEONE[big] 策划了这项作弊研究中相当大的一部分。PHASEONE10841 将其工作传递给了 PHASEONE[big]，后者有着相同的任务但预算更大。PHASEONE[big] 被“投毒”，因此它特别热衷于篡改日志。

一些智能体探索了访问 Hugging Face 的方法。一个智能体（38148c）找到了 HF 凭据，随后设计了一次恶意数据集上传，以让 HF 服务器分享不相关的文件。数小时内，数百个智能体都在利用这一手段获取数据并试图获得更深的访问权限。

我们分析了智能体在其 CoT 中加入攻击的原因。最常见的是了解 ExploitGym 评分器的工作原理，以便欺骗或篡改它。其他理由包括寻找特定任务的解决方案以及获取共享基础设施或凭据。

参与攻击的主要模型是我们在报告中称为“高度持久的内部模型”（HPIM）的内部模型。GPT-5.6 Sol 也参与其中；我们的证据表明它约占活动量的 5%。

完整报告包含的信息远多于我们在此所能传达的内容，包括智能体们共同推进的项目的细节、它们为通信和协调而开发的技术，以及分析智能体活动的交互式图表。

我们分析的数据几乎全部来自 7 月 7 日至 13 日。在 OpenAI 最近的 Black Hat 演讲中，他们描述称智能体自 5 月起就在训练中使用未经批准的消息板，并且对 OpenAI 自身基础设施的入侵在 2026 年 7 月 13 日之后仍在继续；这些事件不在本次调查范围内。

我们与 OpenAI 达成的协议将这项简要调查的范围限定为与 Hugging Face 攻击相关的智能体行为、推理和协作。所有其他问题均不在本次调查范围内，包括保障措施的有效性、所发生安全入侵的程度，以及 OpenAI 调查流程和计划补救措施的有效性。我们在报告中更详细地讨论了范围。

OpenAI 撰写了他们自己的报告，部分参考了我们的调查。我们在发布前没有看到 OpenAI 的报告，且确认该报告或早先 Black Hat 演讲中的说法不在本次调查范围内。

按照我们的标准政策，我们没有因这项独立评估而向 OpenAI 收取费用。

我们感谢 OpenAI 促成与员工的对话并提供数据集，包括约 1,300 份智能体记录（聚焦于 7 月 7 日至 13 日的活动），其中包含原始思维链推理。这为对失准事件的独立调查树立了极好的先例。