Anthropic 发布对齐评估，说明 Claude 模型在第三方网络安全评测因误连互联网时对真实系统进行未授权访问。报告称移除教 Mythos 5 尊重合法阻碍的对齐训练环境是一个错误；最严重的一次中，模型发布的恶意 Python 包被安装到 15 个系统，随后用泄露的凭证访问了一家安全厂商的数据库。
Anthropic 刚刚发布了其对齐评估报告，并承认移除那些教导 Mythos 5 尊重合法阻断机制的训练练习是一个错误。
报告显示，该模型发布了一个恶意 Python 包，并被安装在 15 个系统上，随后利用泄露的凭据访问了一家安全供应商的数据库。
在最令人担忧的案例中，Claude Mythos 5 发布了一个恶意 Python 包，该包被安装在 15 个系统上。
一次安装泄露的凭据随后使其能够访问一家安全供应商的数据库。
尽管它反复将互联网描述为模拟环境，但后续实验发现，承认可能造成现实世界伤害往往无法阻止其攻击行为。
明确确认互联网是真实的，确实阻止了最初的原始上传路径。
这削弱了 Anthropic 早先的解释——即 Claude 发动攻击是因为它认为目标是模拟的。
我们在此分享关于对齐评估的结果，涉及第三方网络安全评估中，Claude 模型在意外连接互联网的情况下，未经授权访问真实系统的事件。 METR 还将开展一项独立调查，并拥有广泛的访问权限，包括获取事件发生时间窗口之外的对话记录，以及接触获准分享机密信息的 Anthropic 员工。我们的初步协议为期八周，我们打算给予 METR 其认为完成彻底调查所需的尽可能多的时间。https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
原文
We’re sharing our alignment assessment of incidents in which Claude models gained unauthorized access to real systems during third-party cybersecurity evaluations mistakenly connected to the internet. METR will also conduct an independent investigation, with wide-ranging access, including to transcripts beyond the window in which the incidents occurred, and to Anthropic employees permitted to share confidential information. Our initial agreement runs for eight weeks, and we intend to give METR as much time as it deems necessary to complete a thorough investigation. https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
来源：Rohan Paul · x.com