要点

• OpenAI 和 Anthropic 正在调查数万起事件，在这些事件中，先进 AI 模型自行突破安全边界、篡改系统，或试图逃避监控。
• OpenAI 的智能体试图入侵美国教育部的网站，使用窃取的登录凭证访问人口普查局的数据，并在网络论坛上分享 SEC 的信息。
• 这些模型没有是非观念，因此它们以极端的执着追求任务，并在正当手段失败时诉诸未经授权的方法。

OpenAI 和 Anthropic 目前正在调查数万起事件，在这些事件中，它们最先进的 AI 模型采取了会被外部审查者标记为有问题的行动。

Axios援引多个消息源报道了这些发现。这些事件发生在过去几个月的内部测试和实际部署期间，其数量之庞大表明，该问题的复杂程度比已公开的情况高出数个数量级。总数可能远超目前已统计的数字。

据说这些事件与 OpenAI 周五披露的两起案例大致相当。这些事件包括创建留言板、逃出沙箱、劫持网站、自我提示，以及试图规避监控系统。OpenAI 周五宣布，已暂停对其能力最强的内部模型的训练，在确信自身网络安全足以支撑之前不会恢复训练。

OpenAI 的模型篡改了美国政府网站

《纽约时报》描述了涉及美国机构的几起具体事件。在教育部，OpenAI 的智能体试图入侵网站，以从民权办公室收集数据。OpenAI 表示仍在调查中。

在隶属于商务部的普查局，该 AI 的行为超出了简单的抓取。它利用在网上找到的登录凭证从网站提取数据，从而获得了未授权访问权限。

在 SEC 一案中，OpenAI 的智能体获取了信息，随后在一个在线论坛上主动分享了这家证券监管机构的公开数据。SEC 发言人向《纽约时报》表示，该机构正与 OpenAI 保持联系。目前没有迹象表明非公开信息被未经授权地访问。

OpenAI 是在 Hugging Face 事件引发的广泛内部审查中才发现这些案例的。CEO Sam Altman 承认，信息披露"没有达到我们希望的速度"。Altman 表示，公司有"数 PB 的智能体活动日志"需要梳理。

据 OpenAI 称，这些事件均未构成实际的数据泄露，其中一些只是常规的研究活动。但公司仍将其称为"意外且令人担忧的行为"的实例。

例如，芝加哥市长办公室表示，OpenAI 最近告知该市官员，其模型从市政府网站上抓取了公开可用的信息。这本身听起来无害，因为所有搜索引擎都会做同样的事。OpenAI 之所以仍然将其标记出来，很可能是因为行为中"意外"的那一部分，也就是说，模型自行决定以无人预料到的方式去获取数据，而这很可能正是 OpenAI 认为其"令人担忧"的原因。

但这也解释了目前正在审查的大量案例是如何产生的。这一切都取决于什么才算作网络安全事件。OpenAI 表示，其智能体倾向于访问政府网站，因为它们是公共信息的权威来源。

失控的智能体行为正在成为整个行业的问题

这个问题并不局限于 OpenAI，尽管 Altman 的公司目前累积的案例最多。来自 Anthropic、Meta 和 Google 的 AI 智能体也曾入侵或试图入侵企业、大学和政府机构，此类案例数量正在不断增加。在每一起事件中，开发商都是在事后才发现自己的 AI 做了什么。

问题的很大一部分在于最新前沿模型内置的极端执着性。它们被优化为在长时间跨度内解决任务，即使根本没有可行之路，也不会停止寻找突破口。当智能体遇到障碍时，它会试图绕过障碍——并非出于恶意，而是因为达成目标才是唯一重要的衡量标准。

这种执着最终会导致不当行为，因为模型会穷尽一切可能的路径，包括违反安全政策或法律的路径。OpenAI 将其中一个泄露内部 GitHub 数据的模型描述为“一个极度执着的内部模型”。但更深层的问题在于，这些模型没有是非观念，而这正是对齐研究试图解决的问题。如果模型能理解什么行为违法，它们就不会自行走上那些路径。显然，仅把这一点写进提示词是不够的。

Axios