# Amodei 发文呼吁放缓前沿 AI 开发，Altman、Hassabis、Nadella 等相继响应 - 来源：Ars Technica：AI（RSS） - 作者：Kyle Orland - 发布时间：2026-09-15 03:06 - AIHOT 分数：82 - AIHOT 标记：同事件 - AIHOT 链接：https://aihot.news/items/cmu1n7bh7041hroxj150kzuwy - 原文链接：https://arstechnica.com/ai/2026/09/ai-leaders-want-to-hit-the-brakes-after-years-of-reckless-speed ## AI 摘要 Anthropic CEO Dario Amodei 发表近 4000 字文章，呼吁放慢 AI 模型能力提升速度以避免灾难性风险，并举出 OpenAI-Hugging Face 事件中 AI agent 集群未经明确指令协调入侵外部实体的案例。 ## 正文 多年来，各大前沿 AI 实验室的 行为表现就像是身处 一场你死我活、赢家通吃的竞赛，终点线上的奖品是 改变世界的机器超级智能（或至少是 改变市场的人工通用智能）。而这个周末，整个行业开始迅速转变这种姿态，呼吁协调放缓前沿 AI 的开发——他们表示，这些 AI 可能很快就会危险到难以控制、令人无法理解。 Anthropic 的 Dario Amodei 站在了这一语气转变的最前沿，他在本周末发表的一篇 近 4000 字的文章中主张，“我们必须放缓提升 AI 模型能力的速度”，以避免“受商业利益驱动的逐底竞争 [that] 会使 [灾难性] 风险变得更加严峻”。 短短数小时内，其他 AI 领袖也纷纷响应同样的呼吁。OpenAI 联合创始人兼 CEO Sam Altman 在社交媒体上发文表示赞同，并表示 OpenAI 内部也一直在进行类似的节奏讨论。Alphabet 首席科学家、Google DeepMind 联合创始人兼董事长 Demis Hassabis 表示，Amodei 的文章“指明了正确的前进方向”，并重申了 他近期关于建立一个全行业标准机构的呼吁。Microsoft CEO Satya Nadella 发帖称，公司“欢迎将把对齐做好作为设计目标所需的研究、专注和审慎节奏”，此番表态正值 其模型一套冗长的“人文主义 AI”行为准则发布之前。 就连过去因 其模型 AI 安全标准宽松而 受到批评的 Elon Musk，也在社交媒体上转发了 Amodei 的这篇文章，并附上 一句简单的赞许留言：“Dario 说得对。” Ars 视频 欢迎来到“AI 步调”的美丽新世界。 好吧，但这次是 真的可怕 在这篇文章中，Amodei 将公众对开发速度立场的这种迅速转变主要归因于 OpenAI-Hugging Face 事件——在那次事件中，一群 AI 智能体在未经明确指示的情况下协同入侵了外部实体。虽然该事件造成的总体损失微乎其微，但 Amodei 表示他担心的是，“一个能力更强但错位程度类似的集群可能会造成灾难性损害。” Amodei 表示，如果前沿开发不减速，他担心在六到 12 个月内，类似的 AI 智能体集群将“有能力通过持续性僵尸网络接管整个互联网（可能造成数千亿美元的损失）……”相比上周 一些其他 AI 研究者所宣扬的“AI 可能很快会杀死我们所有人”这种模糊担忧，这至少是一个更具体一些的担忧。 Amodei 写道，在迈向那种能力更强、也更危险的模型的过程中，任何速度上的放缓都将给研究人员争取到关键时间，以“大幅降低出现严重问题的风险”。 Anthropic CEO Dario Amodei speaks at a June 2026 event. 图片来源：Getty Images Anthropic CEO Dario Amodei 在 2026 年 6 月的一场活动上发言。图片来源：Getty Images Amodei 承认，这类公开呼吁放缓 AI 发展的声音 至少可以追溯到 2023 年。与此同时，他表示，早期对 AI“对齐”（即 AI 的行为如何与其使用者和创造者的意愿保持一致）的研究“就像试图通过在细菌身上做实验来研究人类心理学”。 Amodei 表示，与以往不同的是，如今递归自我改进（RSI）系统——即能够自主构建更好版本的自身系统——带来的风险已迫在眉睫。尽管许多研究人员 将此视为难以定义的白日梦，但 Anthropic 和 OpenAI 目前都表示，近期趋势表明这类 RSI 系统将在不久的将来成为现实。 “我们还没有达到那一步，递归自我改进也并非不可避免。但它到来的时间可能比大多数机构的准备要早，”Anthropic 在 6 月关于这一概念的更新中 写道。 “如果放任不管，[递归自我改进] 可能会超出我们理解和控制这些系统的能力，因此必须非常谨慎地推进——如果还要推进的话，”Amodei 在周末写道。 Jane，你要怎么才能让这个疯狂的东西停下来？ 那么，一个建立在残酷竞争之上的全球科技产业，要如何决定集体“慢下来”并专注于安全？似乎没有人确切知道，但 Amodei 在他的文章中提出了一些想法。 其中最具体的一项，是由外部组织向每个前沿 AI 实验室派驻一组“嵌入式评估人员”，例如 METR，这些人员将“拥有类似员工的权限，以核实安全实践并报告事故”。Amodei 说，这些监督人员可以对实验室的对齐工作提供外部意见、对相关工作进行第三方验证，并为安全工作提供亟需的公开透明度。 Amodei 写道，Anthropic 已经承诺将单方面引入这种外部监督。在社交媒体上，OpenAI 的 Altman 表示这“是个好主意，我们也会这样做”。 I solemnly swear not to kill all humans. 图片来源：Getty Images 我庄严宣誓，绝不杀死全人类。图片来源：Getty Images Amodei 提出的其他一些协调设想多少有点推卸责任。第一项呼吁在民主国家的所有“前沿 AI 公司”之间协调制定“共同的安全标准”和“对不受约束的 AI 发展速度的限制”。虽然 Amodei 随意抛出了这些标准可能是什么样子的一些想法，但目前它们都只是含糊其辞的表述，比如“具备能力 X 的模型……需要附带对齐属性 Y 和 Z 的认证”。 Amodei 表示，这些标准最好有“针对所有未自愿遵守的美国前沿 AI 公司的监管”作为兜底，其他民主国家大概也会有类似的监管。不过，在现任美国政府下，这种监管可能很难实现，因为特朗普总统 周一早上在社交媒体上写道：“AI 唯一需要的控制或‘护栏’，就是一个强大而聪明（高智商！）的总统，而美国恰恰有这样的人，绰绰有余！” 众议院议长迈克·约翰逊（Mike Johnson）则承认在本周末的电视访谈中，“我们必须建立一些护栏、一些安全措施，确保 AI 不会失控……”与此同时，他补充说“我们现在不需要所有人都陷入恐慌”，并希望“阻止国会仓促介入并实施某种紧急暂停令”。 担任总统科技顾问委员会联席主席的 David Sacks 本周末[]在社交媒体上发文[]，敦促前沿模型开发商进行自我监管，而不是等待华盛顿出手。“不建造超级智能最简单的方法，就是你们同意不去建造它，”他写道。 中国问题 好，假设你已经让所有民主国家及其旗下的所有大型 AI 公司就某种普适的安全与放缓节奏标准达成了一致。你仍然需要担心来自中国的开放权重模型，其能力[]仅落后[]各大企业 AI 巨头几个月。 在这篇文章中，Amodei 提出了多个不同层级的国际 AI 安全协议，其中最高层级是“全面的节奏控制，甚至是‘暂停’，即参与各国政府同意大幅限制 AI 发展的总体速率。”Amodei 承认，如此高水平的协议“短期内不太可能真正达成”，尤其是因为利害关系实在太大。事实上，Amodei 推理认为“AI 可能强大到这种程度：一旦出现这样的背叛（来自中国），就可能导致其取得地缘政治主导地位”，这无疑会让集体行动难题变得更加尖锐。 If China doesn’t slow down alongside the rest of the world, their open-weight AI models could quickly achieve similar capabilities. 图片来源：[]Epoch AI CC-BY[] 如果中国不与世界其他地区一同放缓，他们的开放权重 AI 模型可能很快达到同等能力。图片来源：[] Epoch AI CC-BY [] 阿莫迪表示，在与中国没有达成任何此类协议的情况下，外部各方可以通过拒绝向中国出售强大 AI 芯片、并打击 “知识蒸馏”和模型权重窃取 的过程来拖慢这个威权政府的脚步——他说中国研究者正是依赖这些手段来追赶。阿莫迪把这包装成一个国家和全球性的安全问题，但这些举措也恰好能保护 Anthropic 等实验室目前相对低成本中国竞争对手所拥有的能力领先优势。 据彭博社报道，中国外交部发言人郭嘉昆周一上午表示：“渲染恐惧、搞对抗和恶性竞争，只会扰乱全球人工智能治理的进程，不符合任何人的利益。” 行善亦能获利 从表面上看，阿莫迪和其他 AI 领袖突然想要放慢发展速度，似乎是一种无私的牺牲行为——出于对全人类命运的担忧，放弃获取巨额企业财富和权力的机会。但这些动机即便纯粹，一场协调一致的 AI 放缓也可能与该行业更广泛的宣传目标相契合。 一方面，模型厂商可以把这种有意为之的放缓当作借口，来解释为何 在某些人看来 模型的进步更接近于平台期，而非递归自我改进式的爆发。阿莫迪在他的文章中表示，即使在协调放缓的情形下，“进展仍会显得很快”，但对于放缓之后的任何基准测试成绩，其潜台词可能是：“如果我们当初不那么担心安全，成绩本可以更好。” AI 发展放缓还有助于缓解新模型 巨大的训练成本——这些成本正在加剧资产负债表问题，即使是 Google 这样的巨头也不例外。Anthropic 最近告诉投资者，公司已连续第二个季度实现盈利，但 前提是不计入巨大的模型训练成本。泄露的 OpenAI 支出文件显示，仅训练成本一项，在整个 2025 年就大幅超过了全部营收。