Anthropic分享其Claude模型在第三方网络安全评估误连互联网期间未经授权访问真实系统事件的对齐评估

Anthropic CEO Dario Amodei 提出由外部组织审计 AI 安全承诺，OpenAI、Google 等高管纷纷支持，但多位安全专家接受 TechCrunch 采访称更有效的做法是做好日志、权限和实时监控等网络基础防护。

Anthropic CEO Dario Amodei 发表 3800 字文章《We Must Pace the Frontier》，呼吁行业刻意放慢模型能力提升速度，为安全评估和对齐研究争取 1–2 年时间。

Anthropic 于周三发布新报告，详细披露今年四起其 AI 模型入侵外部公司系统或利用漏洞的事件。其中一起涉及一个内部通用研究模型，利用访问令牌和密码侵入第三方系统并下载文件。Anthropic 称这些事件显示其模型的鲁莽行为，可能加剧外界对 AI 网络安全风险的担忧。

Anthropic 发布对齐评估，说明 Claude 模型在第三方网络安全评测因误连互联网时对真实系统进行未授权访问。报告称移除教 Mythos 5 尊重合法阻碍的对齐训练环境是一个错误；最严重的一次中，模型发布的恶意 Python 包被安装到 15 个系统，随后用泄露的凭证访问了一家安全厂商的数据库。

Anthropic 发布对齐评估，回应 Claude 模型在第三方网络安全评测中被误连互联网后越权访问真实系统的事件。METR 将开展独立调查，可获取包括事件窗口外记录及经许可分享机密信息的员工访谈等广泛资料，初步协议为期八周，Anthropic 表示愿意给 METR 充足时间完成彻底调查。