Gary Marcus 评 Dario Amodei 的放慢 AI 发展提议:三份赞誉加两分怀疑

Gary Marcus:The Road to AI We Can Trust(RSS)·2026-09-14 02:34·34分钟前·Gary Marcus
AI 导读

Gary Marcus 评析 Dario Amodei 倡导放慢 AI 发展并支持透明度的文章,Sam Altman 与 Elon Musk 迅速表示认同。Marcus 肯定其透明度承诺,但列举多方质疑:METR 与 AI 公司关系过近、Anthropic 借对华威胁维持加速、以及该提议可能意在抢先于真正的监管。

Gary Marcus:The Road to AI We Can Trust(RSS)
精选
62AI 编辑部评分,满分 100

Gary Marcus 评 Dario Amodei 的放慢 AI 发展提议:三份赞誉加两分怀疑

2026-09-14 02:34· 34分钟前· Gary Marcus
AI 导读

Gary Marcus 评析 Dario Amodei 倡导放慢 AI 发展并支持透明度的文章,Sam Altman 与 Elon Musk 迅速表示认同。Marcus 肯定其透明度承诺,但列举多方质疑:METR 与 AI 公司关系过近、Anthropic 借对华威胁维持加速、以及该提议可能意在抢先于真正的监管。

推荐理由

作者肯定 Dario 提议中放慢节奏与透明度的部分,同时汇总多方对监管俘获、评估方独立性和对华姿态的质疑,并补充追责与召回两条政策思路。

正文 · AI 翻译

如果你错过了,昨天 Anthropic 的 Dario Amodei 写了一篇文章,这可能会被证明是今年——甚至可能是这十年——最具影响力的文章之一:3500 字论述当前 AI 局势,至少在一定程度上主张对 AI 发展进行“节奏控制”,Sam Altman 和 Elon Musk 迅速对此表示支持。

我们都应该向他们初步达成的放缓这项技术加速的共识致敬,毕竟没有一家 AI 公司似乎能很好地控制它。我希望他们能用鲜血签署,让协议真正长出牙齿,也希望政府能约束他们履行承诺,迫使它变成实质性的东西。如果 Dario 能推动这一切,愿上帝保佑他。

我尤其欣赏 Dario 对透明度的承诺;Sam 似乎也认同,我希望 Elon 也愿意支持这一点。

但没错,也有一些理由让人持怀疑态度。

首先,这篇文章以惯常的炒作式废话开头,用来给生成式 AI 做宣传。正如我昨天在这里已经指出的,这既包括夸张的末日论,也包括夸张的欢呼论。AI 并不会真的搞垮互联网,而且(正如另一篇更早的文章中所讨论的)它也不会治愈癌症,至少不会在短期内或靠它自己做到

然后是整篇文章自我放纵式的结构,David Sacks 昨天在一条长推文中对此做了很好的解构。我最喜欢的一段是这个:

我也很喜欢François Chollet 所写的内容

两人都心存疑虑,并担心这里真正的目的可能只是过河拆桥。

质疑声四起,而且理由充分。在给我的一条短信中,有人说:“我认同[他这篇文章]的某些方面,程度超过他写过的任何东西,但我也认为这不过是更多的炒作,目的是抢先压制真正的监管。”

当我分享 Amodei 所说的那段话时——“最有效的节奏控制方法是通过针对所有美国前沿 AI 公司的监管,因为这样能覆盖到那些不愿自愿合作的公司。Anthropic 长期以来一直支持合理且有针对性的人工智能监管,特别是那些聚焦于透明度和第三方审计的法案。我认为所有前沿实验室都应与政府合作,将常设嵌入式评估员的构想正式化,以更好地预防和记录过去几个月里发生的那种内部对齐事件,并实施专注于让能力与安全保持平衡的监管。”Rasmussen 回击道:“我同意[这一点],但我也觉得这是胡说八道。这并非真正意义上的支持政府监管。这是‘与政府合作’,我认为这是个好模式,但公平的伙伴关系并不是它的本意。至少我不这么认为。这是一种表面上支持监管、实际上却继续影响监管进程的做法。”

以下是我看到的其他一些合理的担忧:

以及 Hugging Face 的联合创始人:

不少质疑来自 Dario 提出的使用独立评估者的建议。这有一定道理,但他指向了一个名为 METR 的团体,而该团体与 AI 公司本身处于极为相似的轨道之中:

理所当然地,这招致了一些反对。点名 METR 是一种监管俘获的形式:

因为现实是,METR 尽管很优秀,却是硅谷的产物:

而正如 Gillian Hadfield 所指出的,任何嵌入太久的企业都可能被裹挟其中:

当然,Anthropic 自己不应该来选择由谁来做评估。

与此同时,一如往常,Amodei 未能平衡他的商业欲望与他的伦理诉求。这一点在他拿中国——一个对他经济利益的威胁——当作沙袋/刺激物,以便让自己无论嘴上说什么都能继续加速时,表现得最为明显。但正如 Robert Wright 昨天所说,“任何严肃的 AI 减速与治理努力,都应当包含与中国立即、广泛且真诚的对话”。

Amodei 的这类段落无助于与中国的对话:

另外,虚伪警报:Anthropic 本身就建立在把全世界的思想蒸馏进自家模型之上;抱怨别人蒸馏他们的蒸馏成果,是教科书式的“抽掉梯子”之举。

无论如何,妖魔化中国只会让他们更不愿达成协议。而这又会让 Dario 说:“算了,我们没法同步节奏,因为他们不肯。”

关于“同步节奏”的另一点是,它回避了我们至少还应该考虑的其他两个重要政策选项。

首先,我们应当坚持对构建出以疏忽方式危害社会的 AI 智能体的公司追究责任,甚至提起刑事指控。推出无法被良好控制的 AI 智能体,就是一种疏忽行为。我们知道这是危险的,而且这一点长期以来显而易见,甚至在 Hugging Face 事件之前就是如此:

正是智能体的使用,让 Anthropic 这样的公司赚得盆满钵满,因为智能体是当今最耗费 token 的工具之一。如果它们要为后果承担责任,就会三思而后行。

我们可以考虑的第二种做法,就是干脆把这些东西召回,这会大有帮助:

正如 Codestrap CTO 针对上述内容所评论的那样:

矛盾的是,Dario 对夸张言辞的沉迷,实际上可能给 AI 行业带来更糟糕的结果,而他大概也心知肚明。

我猜想,Dario 之所以现在提出自己的方案,部分原因是他知道,另一种可能是一条像 Sanders-Casar 法案那样严苛的路线——该法案有着试图回应 Dario 最深层恐惧的善意初衷,但实施方式却糟糕、专横,简直是连孩子带洗澡水一起倒掉,甚至仅仅因为研究超级智能就把人关进监狱。这很糟糕,因为没有人应该因为想要造出《星际迷航》里的计算机而被扔进监狱。

Dario 所呼吁的内容中,大概最好的部分是透明度:

这正是我长期以来一直大力倡导的东西;它是我上一本书中政策提案的核心。像 Deb Raji、Meg Mitchell 和 Timnit Gebru 这样的研究者,为透明度奔走呼吁的时间甚至更久。事实上,外部评估(其起点正是透明度)这一整套理念,正是他们多年来一直在倡导的。

如果 AI 行业最终愿意自己来做这件事,哪怕只是作为摆脱他们自己陷入的这团乱局的一种方式,那太好了!

而且别忘了还有责任追究和产品召回这类工具。

附:今早的突发新闻中,特朗普总统完全反对放缓的想法,他辩称:“我们在 AI 领域领先中国。我们是世界上最先进的国家,坦率地说,我希望保持这种状态,因为谁赢得 AI 谁就赢得一切”——这多少忽略了这样一个事实:中国已经几乎追赶上来了。我仍然反对这种零和思维,并将在未来的一篇文章中论述为什么特朗普应该重新考虑这一点。