Anthropic 的 AI 对齐研究人员发推警示未来具备RSI能力的模型风险,称认为十年内AI致人类灭绝概率超10%,并称两家公司行事均不负责任
先了解这件事
Anthropic 研究员考克森辞职并警告 AI 可能致人类灭绝,科学家胡宾格称认为十年内发生概率超过 10%。随后美国两党议员呼吁政府采取更多行动,参议员凯利与克鲁兹、众议员卢娜分别发声,特朗普则表示不担心灭绝风险,更担心输掉 AI 竞争。Anthropic 称将继续测试危险能力模型,OpenAI 表示支持强制性全国 AI 安全要求,公司正筹备上市。
摘自 IT之家·人工智能
报道时间线
沿着报道,了解事件的不同侧面。
- TechCrunch:AITechCrunch Equity 播客探讨 AI 行业末日警告背后的动机
TechCrunch Equity 播客讨论 AI 行业关于生存威胁的最新争论。起因是研究员 Jacob Coxon 因担忧头部 AI 公司在拿人类生命冒险而辞去 Anthropic 职务,Anthropic 对齐负责人随后发帖称真诚认为 AI 可能杀死全人类,并给出未来十年内概率大于 10% 的个人判断。
- IT之家·人工智能Anthropic 研究员警告 AI 灭绝风险后,美国两党议员呼吁政府加强监管
Anthropic 研究员考克森辞职并警告 AI 可能致人类灭绝,科学家胡宾格称认为十年内发生概率超过 10%。随后美国两党议员呼吁政府采取更多行动,参议员凯利与克鲁兹、众议员卢娜分别发声,特朗普则表示不担心灭绝风险,更担心输掉 AI 竞争。Anthropic 称将继续测试危险能力模型,OpenAI 表示支持强制性全国 AI 安全要求,公司正筹备上市。
- TechCrunch:AITechCrunch Equity 播客讨论 Anthropic 研究员的末日式离职警告
TechCrunch 的 Equity 播客讨论一名 Anthropic 研究员本周辞职并在 X 上警告公司正冲向自我改进的超级智能、拿我们的生命做赌注,该公司对齐负责人还联名签署了这条消息。
- Testing CatalogAnthropic 研究员警示 RSI 模型灭绝风险
Anthropic 对齐研究员公开警示,具备 RSI(递归自我改进)能力的未来模型可能带来生存风险,并称“我们确实认真相信 AI 可能杀死全人类,个人认为十年内概率超 10%”。相关人士批评“两家公司都未尽责”,并承认尚无解决超级智能对齐问题的明确方案。