# "紧急关闭"按钮真能阻止 AI 失控？辛顿、Anthropic CEO 阿莫迪都不看好

- 来源：IT之家（RSS）
- 发布时间：2026-09-17 20:21
- AIHOT 分数：41
- AIHOT 链接：https://aihot.news/items/cmu5i4z4006ssroqo7j3x2h7v
- 原文链接：https://www.ithome.com/1/003/820.htm

## AI 摘要

针对用“紧急关闭”开关阻止 AI 失控的设想，辛顿、Anthropic CEO 阿莫迪等多位 AI 行业领袖均表示不看好。辛顿认为超级智能会说服掌管开关的人不要按下它；阿莫迪称其绝非“万能药”，只能作为更广泛安全策略的一部分。Anthropic 联合创始人克拉克则建议强制企业保留可接受独立第三方验证的紧急关闭机制。

## 正文

IT之家 9 月 17 日消息，如今，“AI 突然失控发动毁灭性网络攻击”的潜在情景正日益引起行业重视，如果按下“紧急关闭”开关让 AI 直接下线，问题看似就能得到解决。然而，多名 AI 行业领袖和研究人员认为，现实恐怕没这么简单。

据《商业内幕》今天（17 日）晚间报道，一些政策制定者寄予厚望的紧急关闭开关，未必能成为解决 AI 失控风险的万能手段。

被称为“AI 教父”的计算机科学家杰弗里 · 辛顿直言：“我认为这种办法从长远来看行不通。等 AI 拥有超级智能后，它会比人类聪明得多，完全可能说服掌管开关的人不要按下它。”

从技术上看，企业可以通过紧急关闭机制停用自行托管的模型，也可以切断 AI 使用工具和算力资源的权限。

IT之家从报道中获悉，辛顿并不是唯一一个怀疑这种办法是否足够的人。也有 AI 行业人士认为，紧急关闭开关确实可能发挥作用，同时也有“绕过”的可能，或者等到启动时已经太迟，因此最多只能成为完整安全体系中的一道防线。

AI 安全研究人员、《如果有人造出来，所有人都会死》合著者内特 · 索亚雷斯认为，只要 AI 仍受制于某个物理地点，关闭开关就能发挥作用；一旦 AI 突破限制、复制自身，甚至进入关键基础设施，关闭机制是否还能有效就很难保证。

他指出，关闭开关当下“确实存在”，不过人类不应该逼近某些无法回头的临界点。真正应该优先做的，是从源头上阻止危险 AI 系统被开发出来。

部分 AI 企业高管则认为，紧急关闭开关有必要存在，但作用有限。

Anthropic 联合创始人杰克 · 克拉克指出，未来或许需要强制企业保留一套紧急关闭机制，且能够接受独立第三方验证。大型 AI 实验室目前都有办法“拔掉插头”，但由多个自主 AI 智能体组成的集群，理论上可能绕过这些控制手段。

Anthropic CEO 达里奥 · 阿莫迪持有类似看法：紧急关闭开关看似是好主意，可绝非“万能药”。如果 AI 模型能力足够强，就可能想办法绕过关闭措施，因此紧急关闭机制只能作为更广泛安全策略的一部分，还需要配合测试、外部评估以及部署限制等措施。

对 AI 紧急关闭开关局限性的担忧也并非最近才出现。OpenAI CEO 萨姆 · 奥尔特曼在 2024 年接受《经济学人》采访时，就否定了靠一个万能保险装置解决 AI 风险的想法，并不存在一个能够让 AI 立即停止的“神奇红色按钮”。

在奥尔特曼看来，AI 安全并不取决于某个单一开关，而取决于一连串具体决策，包括允许模型具备哪些能力、何时部署，以及如何控制风险。“这不是一个简单的开或停决定，而是整个过程中许多个小决定共同作用的结果。”