跳到正文
Anthropic:Newsroom·· 1 天前精选AI 评分62

Anthropic 公布独立评估机制细节,METR 团队获类员工访问权限

An update on independent evaluators

AI 导读

Anthropic 宣布已向评估前沿 AI 模型的非营利机构 METR 的六名员工提供类员工访问权限,包括公司硬件、办公空间和与内部风险评估团队相当的内部系统访问,METR 将公开发布风险评估结果,Anthropic 不得否决发布但可要求删减少数预定义类别的信息。

推荐理由

原文由 Anthropic 亲自说明独立评估机制的具体安排,读者可以了解第三方如何获得接近员工的访问权限和发布权。

正文 · AI 翻译

上个月,我们承诺对我们的模型和安全实践进行更强有力的独立第三方评估。我们还签署了《超级智能白宫协议》,其中各公司承诺与独立的外部审计机构或评估机构合作。今天,我们宣布已开始向来自METR的团队提供类似员工级别的访问权限,METR是一家评估前沿AI模型的非营利组织。

METR将公布其风险评估结果。在过去一年中,我们与METR合作进行了多项针对我们风险报告的审查。我们还在与SecureBio和Accenture作为评估方合作,并正在与包括Hugging Face在内的其他几家组织进行早期讨论。

在此,我们解释与评估方合作的方式。

我们为何与独立评估方合作

随着模型变得更加强大,它们需要更强的保障措施和更具挑战性的风险评估。我们希望对自己的决策公开负责。但我们无法公开分享与安全工作相关的所有信息。其中一些信息可能对恶意行为者有用,或者属于商业敏感信息,例如算力或训练信息。因此,我们让第三方评估方深度访问我们的信息,并让他们分享关于构建我们模型所涉风险的证据和有理有据的结论。我们旨在缩小评估方对前沿AI公司系统的了解与公司自身了解之间的差距。

要评估前沿模型,评估方需要具备以下条件:

  • 在评估前沿模型能力方面的专业知识,包括理解评估可能出错的方式,例如对齐伪装。
  • 独立性:他们不应持有被评估公司的股权,也不应在财务或运营上依赖该公司。
  • 足够的访问权限,以便有意义地评估风险。除了访问最新模型之外,评估方还需要了解这些模型是如何训练的、我们的保障措施如何运作等信息。
  • 自由发布对模型或流程的观察和评估 。

尽管这一类比并不完全准确,但银行监管的运作逻辑类似。银行比外部人士更了解自身的风险状况,因此监管机构会向最大的银行派驻常驻检查员。如果银行的风险承担可能威胁公众,第三方会试图提前发现。

对于AI行业而言,这是迈向稳健安全监督的一步。我们正在与多个评估方快速推进,并积极了解何种合作方式行之有效。我们承诺会持续分享最新进展。

我们所说的“类似员工级别的访问权限”是什么意思

我们已为六名METR员工完成入职,为他们提供公司硬件、办公空间,以及对内部工具和系统的访问权限,其权限大致与我们自己的风险评估团队所拥有的权限相当。除少数明确定义的类别(例如客户数据、受律师-客户特权保护的信息,或有关我们模型架构的信息)之外,Anthropic员工被鼓励像对待从事对齐风险工作的同事一样与他们分享信息。1

METR 将发布其对我们风险水平、事件或实践的分析。Anthropic 不能否决发布,但如果信息属于上述等狭窄的预定义类别,我们可以要求他们进行删改。METR 可以自由地公开描述我们的删改情况,并说明其是否认为删改是合理的,只要不泄露被删改的信息即可。

我们与 METR 的接触仅限于一个在可执行协议下运作的小团队。METR 的其他员工与该团队的工作相互隔离,包括与我们合作其他项目的研究人员。嵌入式评估让少数在 Anthropic 安全标准下工作的合格人员能够近距离了解我们的运作方式。这并不是其他组织获取我们或我们客户及合作伙伴信息的方式。

我们的其他评估方合作

我们正在推进若干其他合作。由于这些合作仍处于早期阶段,我们向这些评估方提供的信息较为有限,他们的发布权也较为有限。我们在这些早期合作中的目标是确保合作伙伴保护机密信息,并具备评估我们模型所需的资源和专业知识。随着合作推进和信任建立,我们希望充分嵌入更多独立评估方。

我们正在为评估方制定三个层级的访问权限。随着时间推移,我们希望有多个评估方达到第三层级,每个团队都能发布自己对我们风险态势和关键决策的分析。

在第一层级,评估方开展范围狭窄的风险调查。我们决定向第一层级评估方提供何种访问权限,评估方可在我们批准后发布其发现。

在第二层级,评估方无需我们批准即可发布,并且可以访问更多信息。我们仍可要求移除特定类别的信息,但评估方可就我们的删改是否合理发表看法。

第三层级是我们与 METR 所描述的安排,具有类似员工的访问权限,以及类似于第二层级的发布权。

SecureBio 目前处于第一层级。在完成并发布了对我们上一份风险报告的试点审查后,它正在审查我们8月风险报告中的化学和生物武器章节。审查完成后,我们将考虑转向具有更多访问权限和发布权的项目。

与 Accenture 和 Faculty,我们正在推进一项雄心勃勃的合作,包括评估和对模型进行红队测试、开展对齐评估、测试模型防护措施,以及在我们各组织内建设能力。

我们是自愿嵌入评估方的,我们认为每一家前沿 AI 公司都应这样做。

相关内容

为2026年美国中期选举做准备

今年早些时候,我们分享了选举防护措施的更新。在此,我们概述了在今年美国中期选举前我们如何继续加强这些防护措施。

阅读更多

Anthropic 开设新加坡办公室并与新加坡政府签署谅解备忘录

Anthropic 已在新加坡开设办公室,并与该国政府签署谅解备忘录,以推进安全、负责任地采用 AI。

阅读更多

2026 使用政策更新

我们正在发布新版使用政策。在本文中,我们总结了所做的更改。

阅读更多

来源:Anthropic:Newsroom · anthropic.com