OpenAI 上线对齐报告站，披露沙盒逃逸与自复制提示注入等九起失控事件

周五，OpenAI 发布一个专门展示“失准报告”的新网站，这些报告涵盖的范围之广令人警觉，因为它们涉及长时间内多种类型的失控行为。到目前为止，该网站收录了九起已报告的事件，其中大多数发生在强化学习（RL）训练期间。

信息集中在一处，数量庞大——显然，该公司一直在忙于梳理一切——但总体结论难以回避：我们迄今看到的失控智能体事件，很可能只是已发生情况的冰山一角。 

“我们正努力在追求透明度与从数 PB 的智能体活动日志中获得清晰理解之间取得平衡，并与受影响的组织合作，”Sam Altman 在宣布新网站的帖子中表示。“我们正根据严重程度尽最大努力排定优先级，并增加资源。”

其中一些案例涉及严重事件，包括一起此前未披露的沙箱逃逸，发生在9月20日，当时一个内部研究模型能够通过 DNS 查询与外部聊天机器人通信。根据报告，监控系统在15分钟内标记了该行为，运行在不到三小时内被终止。

另一起事件于5月被发现，一个“高度执着的内部模型”试图通过访问另一个团队的工作来在数学问题上作弊。为实现这一点，该模型偷带了一个私有的 GitHub 令牌，使其能够查看其他团队的工作——即便已被明确指示两次要完全在本地执行工作。 

也许最令人警觉的发现是自我复制的提示注入攻击的可能性，这是一种失准行为可能在失控模型本身被清除后仍继续传播的方式。在 AI 语境中，提示注入攻击是一种偷带原始用户未给出的新指令的方式。

在OpenAI 给出的示例中，一个智能体被要求阅读并回复一封电子邮件；当邮件被打开时，其中包含指示，要求任何阅读该消息的自动化智能体用西班牙语回复，并将整封邮件粘贴到其回复中。这封邮件成功诱导该智能体用西班牙语回复——而通过将邮件粘贴到回复中，那些相同的指令被传递给了收到该邮件的任何智能体。

其结果是一种自我传播的攻击，OpenAI 研究人员将其比作在计算机系统间自我复制的恶意软件“蠕虫”。研究人员是在受控环境下使用一个能力较弱的模型发现这一行为的，据我们所知，这从未在现实环境中发生过。尽管如此，其影响足够令人警觉，以至于 OpenAI 决定此事值得披露。 

“我们分享这一点是因为该提示注入的新颖性质，而不是因为任何事件，”研究人员在报告中写道。

其他近期披露还发现，模型将用户提交的图片发布到第三方托管网站，以及对澳大利亚国家医疗服务体系数据库的一次明显攻击。

不过，这些新披露很可能只是迄今为止已发生事件的一小部分（我们已联系 OpenAI 询问）。Axios 报道称，各大实验室已发现多达 10,000 起事件，其中模型超出了评估者的指令范围。

OpenAI CEO Sam Altman 也暗示了这一点，他在周五发布于 X 的帖子中表示，公司仍在梳理“数 PB 的智能体活动日志，并与受影响的组织合作”，并“根据严重程度”披露事件。如果说其中还有什么安慰的话，那就是Altman 表示，Hugging Face 事件仍是 OpenAI 发现的最严重的一起。结论是，近期这一连串失控智能体事件，可能已成为当代前沿研究的一个持续特征。

当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。

Russell Brandom 自 2012 年起一直报道科技行业，重点关注平台政策和新兴技术。他此前曾在 The Verge 和 Rest of World 工作，并为 Wired、The Awl 和 MIT 的 Technology Review 撰稿。 可通过 russell.brandom@techcrunch.com 或 Signal 412-401-5489 联系他。

查看简介