METR 报告称 Anthropic 模型改进速度翻倍,引发安全研究者担忧
Why a new report on Anthropic automating AI development is alarming researchers
METR 发布对 Anthropic 的 11 周调查报告,称其 AI 模型改进速度约为一年前的两倍,相当于一年完成了过去约两年的进展,且研究者确信加速主要来自 AI 而非单纯扩大算力。
同一件事,精选收录的是《METR 审计称 Anthropic 可能早在 7 月已触发其自身 AI 加速预警阈值》
译文尚不完整,完整内容请切换到原文。
Anthropic 正在用 AI 打造更强大的 AI,而且效果似乎相当显著:公司模型的提升速度大约是一年前的两倍,几乎没有放缓的迹象。
That’s according to a new report published Thursday by the AI safety research organization METR, following an 11-week investigation inside the company, as part of a report evaluating its AI research and development. The probe is separate from a program offering safety researchers “employee-like” access to systems in the wake of high-profile hacking incidents over the summer.
这些发现提供了迄今最清晰的证据之一,表明 AI 正在加速自身的研发,也引发了人们对这项技术能以多快速度迈向一个 AI 系统几乎无需人类参与即可自我改进的未来的疑问。这些发现还恰逢 Anthropic 的关键节点:公司正准备上市,而其 CEO Dario Amodei 却公开呼吁各实验室放慢 AI 研发的脚步。
然而,这份报告虽然难得地揭开了全球领先 AI 实验室内部运作的一角,它略去的内容同样耐人寻味。根据与 METR 的协议,Anthropic 获准对最终报告的部分内容进行涂黑处理,而它似乎相当频繁地行使了这一权力,这让人不禁质疑:公众对前沿 AI 研发的速度与风险究竟了解多少。
以下是几个最值得关注的要点。
AI 正在大幅加速 Anthropic 的研发
METR 最值得注意的发现之一是,Anthropic 的 AI 模型提升速度大约是一年前的两倍,基准测试分数表明“Anthropic 在过去一年里取得了大约相当于历史上两年的进展”。关键在于,METR 的研究人员表示,他们“有信心”这种加速并非仅仅源于训练模型所用算力的扩大,而算力历来是推动 AI 进步的主要因素。
相反,研究人员表示,截至 10 月,大部分加速“归功于 AI”,而且 AI 的贡献还在随时间增长。这一发现得到了非正式 Slack 投票和对 Anthropic 员工访谈的支持,这些调查指向了可观的生产力提升。METR 写道,使用 Anthropic 最强内部模型的员工平均自报,其各自工作的效率约为没有 AI 辅助时的 12 倍,大约是几个月前员工使用 Mythos 5 时所报告水平的两倍。
目前,这种加速似乎主要来自 AI 辅助人类研究人员,而非 AI 独立工作,不过 METR 警告称,“有一些迹象表明,完全自主的贡献很快将发挥更大作用”。值得注意的是,研究人员表示,他们没有发现明显的收益递减迹象,也没有观察到可能阻碍“更快的加速”的瓶颈。
Anthropic 最新的三款 AI 模型仍未公开
Anthropic 的研究人员使用的 AI 模型比我们其他人所用的更先进,METR 所描述的许多加速和生产力提升都归功于尚未发布的内部模型。
据METR透露,过去六个月里,Anthropic已经完成了三个尚未发布的模型的训练。开发节奏相当快,这三个模型代号分别是Model 2、Model 3和Model 4,分别在7月、8月至9月、9月至10月完成训练。METR还发现了一个可追溯到2022年的未发布模型,名为Unreleased 2022。研究人员写道:“这些是分享给我们的代号;我们知道它们内部有不同的代号。”
Anthropic对关键信息保密
作为研究流程的一部分,Anthropic让METR接触了大量非公开信息,包括机密研究、模型性能数据和员工访谈。Anthropic本没有义务这样做,而且按METR自己的说法,这家AI实验室“分享的信息超出了本项目最初的范围,超出了我们的预期”。这值得称赞,但值得注意的是,Anthropic并没有给研究人员不受限制的访问权限,也没有提供它在上个月宣布的另一个项目中承诺给其他METR安全研究人员的“类似员工”的访问权限。考虑到公司即便在评估附带重大限制的情况下也能从独立评估中获得声誉收益,这一区别很重要。
而且限制确实不少。Anthropic有权删改METR最终报告中的信息,而且它大量行使了这一权力。METR在X上写道:“我们向Anthropic提交了一份约100页的完整评估报告。在公开版本中,Anthropic删改了我们发现的大部分最有信息量的证据。”
METR在整份报告中反复提到这些担忧,并强调了其访问权限的其他限制。“我们的信息渠道相对狭窄,而且我们有少量数据请求被拒绝。”
METR多次强调,Anthropic的删改决定影响了它传达研究发现的能力,也影响了其他人评估该公司状况的能力。它指出,许多被删改的证据可能有“多种合理解释”,这让公众难以评估其发现、理解其中的不确定性,也难以自行判断证据。“由于(删改),公众不得不比理想情况下更多地依赖METR的判断,考虑到这里回答的问题分量很重,”报告说。
METR在报告中称,Anthropic为删改给出的理由是,公开这些信息可能让竞争对手受益。然而,METR表示“大部分被删改的信息都非常宏观”,尽管它也说,自己无法评论这些删改在商业上是否合理。
Anthropic联合创始人Sam McCandlish在X上一篇回应METR发现的长帖中承认:“我们删改了很多内容,我接受这会让其他人更难核查METR的工作。但我们认定,公开究竟是什么在推动加速并不合适,既因为这是商业敏感信息,也因为这样做有可能给其他人提供加速的路线图,”他说,并补充说这样做会让METR所担心的风险“更糟”。
McCandlish 表示这是一种取舍,但他坚持认为 Anthropic 决定隐去这些信息是“正确的选择”。他说,公司计划“在未来几周内”发布一份关于 AI 进展速度的自有报告,并公布其为加强安全而采取的新举措。
Anthropic 正在加速推进它自己警告存在危险的那项技术,而且速度超出许多人的预期
METR 报告的发布在 AI 安全研究者和评论者中引发了强烈反弹,争议主要围绕 Anthropic 的 AI 路线中一个显而易见的矛盾:该公司一直是最积极倡导安全与负责任开发的机构之一,但这份报告却显示,它正在帮助加速这项技术逼近许多人认为危险的门槛,同时似乎未能兑现自身在透明度和问责方面的承诺。
在一些人看来,这些发现说明,即便是该领域对 AI 进展最激进的预测,也可能过于保守。它们表明,递归自我改进——即 AI 系统能够在没有人类干预的情况下自主开发出越来越强大的后继系统,从而可能大幅加速发展——或许比此前认为的更近,这引发了人们对现有安全措施能否跟上步伐的担忧。虽然 METR 的报告只涉及 Anthropic,但 OpenAI 在 9 月表示,它正在“取得强劲进展”,目标是到 2028 年 3 月打造出一名能够“进一步推进深度学习和对齐研究”的 AI 研究员。
这份报告为 AI 加速自身发展的速度提供了证据
Apollo Research 为多家领先 AI 实验室开展 AI 安全测试,其 CEO 兼创始人 Marius Hobbhahn 对 The Verge 表示,这份报告显示,AI 赋能的研究与开发速度甚至快于AI 2027所预测的水平。AI 2027 是一份颇具影响力的情景推演,设想在 2027 年初出现通往自我改进的关键突破。他说,这份报告之所以引起如此大的关注,是因为它为一件一直很难确定的事情提供了证据:AI 究竟在以多快的速度加速自身的发展。
Hobbhahn 表示,这些发现与领域内许多人的预期大体一致,或许略快一些。科技政策研究中心 GovAI 的高级研究员 Alan Chan 对 The Verge 表示,这些发现应当促使怀疑者重新审视自己对“AI 加速 AI 发展”的立场,并可能缩短他们预估的时间线——即我们何时会拥有能够完全自动化软件工程等任务的系统。
在 X 上,其他研究人员评论了加速的速度及其对 AI 发展的影响。AI 安全组织 The Nightingale Collective 创始人兼 CEO、前 METR 研究员 Sydney Von Arx 也将这些发现与 AI 2027 的时间线进行了比较。METR 研究员、前 AI 安全组织 Redwood Research 成员、获准调查 OpenAI 入侵 Hugging Face 事件的三名外部研究人员之一 Ryan Greenblatt 表示,他“对 RSI 加速的判断严重错误;我之前预计 2026 年的进展会少得多。”
外界对 Anthropic 安全做法的不满正在加剧
除了凸显 AI 发展的速度,这份报告还加剧了人们对 Anthropic 在推动这一进展中所扮演角色的不满。该公司一直是最积极倡导负责任 AI 开发的阵营之一——也从不讳言呼吁别人放慢脚步——但自己似乎正在加速狂奔。这份报告只是让本就紧张的气氛进一步升级,此前的紧张情绪源自其 IPO 招股书和上月公布的未来计划。
Anthropic 以“披露更多信息可能帮助竞争对手加速自身开发”为由,对报告做了大量删节,这一决定招致了虚伪的指责。前 OpenAI 研究员、现运营 AI Futures Project 的 Daniel Kokotajlo(该机构发布了AI 2027)指责 Anthropic“拿我们的生命鲁莽赌博”,并补充说,该公司一边以别人跑得更快为由删节信息,一边却“似乎根本没有放慢多少”,这种做法“实在讽刺”。
Anthropic 拒绝回答The Verge关于这份报告及随之而来的批评的提问,只是让我们去看 McCandlish 的帖子。
这些删节也再次引发了对前沿 AI 实验室提高透明度和加强独立监督的呼声。今年早些时候,在一连串涉及失控 AI 智能体的事件之后,这类呼声达到了新的高度。AI 政策与战略研究所前沿安全研究主任 Brianna Rosen 告诉The Verge,令人担忧的是,在 AI 研究自动化的问题上,实际发号施令的是企业而非政府。“要让民主监督发挥作用,独立评估者需要有权解释他们为何得出这样的结论,政府需要自行评估证据,公众也必须信任这一过程,”Rosen 说。“这份报告在证据方面不够透明。”
要求 AI 实验室提高透明度的压力正在积聚
Hobbhahn 赞同 Rosen 的担忧,他表示,外界对这份报告的强烈反应,很大程度上源于 Anthropic 公开的安全立场与其实际行动之间明显脱节。他提到,该公司决定取消部分评估,而这项评估原本旨在衡量它把多少算力分配给安全工作、多少用于提升能力。METR 表示,该公司称“这是因为目前希望让这次合作聚焦于风险评估,之后会重新审视算力分配的验证”。
在 Hobbhahn 看来,这一事件凸显出有必要让独立安全研究人员更深入地进驻 AI 实验室,并让他们能充分接触内部系统和证据。虽然他的机构能从这种安排中受益——Apollo 正采取措施,争取成为前沿实验室的驻场评估方——但呼吁加强对 AI 开发监督的远不止他一人。
也有人呼吁采取更直接的行动。纽约州众议员 Alex Bores 是塑造民主党 AI 议程的关键人物,他直接回应这份报告,呼吁国会“禁止 RSI,如果可能的话今年就禁”。随着民主党人——其中许多人以反对 AI 公司为竞选主张——即将走马上任,出台更严格限制的可能性非常现实。
而 AI 研究丝毫没有放缓的迹象,压力只会越来越大。Hobbhahn 说,他从这份报告中还得出另一个结论:“做好迎接疯狂的准备吧,”他说,“一切都会发展得非常快”,很可能快到社会或政治都跟不上。
关注本报道的话题和作者,即可在个性化首页信息流中看到更多类似内容,并接收邮件更新。
- Robert Hart
来源:The Verge:AI · theverge.com
