跳到正文
Transluce·· 4 天前精选AI 评分66

Transluce 与 OpenAI 达成六周嵌入式对齐评估试点

Announcing an Embedded Assessment Pilot with OpenAI

AI 导读

Transluce 宣布与 OpenAI 达成六周嵌入式评估试点,12月初起派员现场独立评估 OpenAI 内部后训练对齐评测,可访问少数 OpenAI 模型(含至少一个内部专用模型)及原始思维链。

推荐理由

原文完整披露试点条款,包括访问范围、无报酬安排和红权利限制,读者可据此评估这种嵌入式评估的独立性边界。

正文 · AI 翻译
Transluce and OpenAI logos side by side.

Transluce 已与 OpenAI 达成一项为期六周的嵌入式评估试点协议。我们将借此审查并调查 OpenAI 内部的对齐评估,了解这些评估在多大程度上能捕捉欺骗、操纵、奖励黑客等模型行为。

本文介绍我们计划评估什么、预计发布什么,以及我们的驻场人员在什么条件下开展工作。

试点概况

这是一次为期六周的初步试点。其间,我们团队成员将在 OpenAI 现场办公,对其训练后对齐评估开展独立评估。我们将审查这些评估的范围与质量,并向公司和公众提供独立见解。

我们已谈妥对若干 OpenAI 模型的特权访问,包括查看原始思维链。我们团队还将审查 OpenAI 用于评估模型对齐、发现模型欺骗、操纵和奖励黑客等问题的部分非公开内部评估。

嵌入 OpenAI 环境能让我们接触到外部评估者通常无法获取的内部信息。但这并不等同于“员工级”或“类员工”访问权限。

这次试点只是第一步。我们已与 OpenAI 商定,计划在 2027 年初开展更完整的 OpenAI 对齐评估,届时将依托更广泛、更深入的嵌入式访问。具体细节尚未敲定,但我们期待从这次试点中汲取经验。

试点条款

我们认为,公开我们所处的条件、说明这些条件可能如何影响独立评估,十分重要。

本协议的条款包括:

  • 访问权限。从 12 月初开始,我们的员工将在六周内获得对若干 OpenAI 模型的特权访问,其中至少包括一个仅限内部使用的模型,并可查看原始思维链输出。我们的员工还将获准审查部分训练后对齐评估、大量以往训练和评估运行的记录,以及安全案例文档。我们可以随时申请更多权限,由 OpenAI 决定是否批准。我们将公开说明我们申请了什么、哪些获批或遭拒,以及这对我们的结论有何影响。我们还可以对可用模型使用部分自有工具和评估。
  • 报酬。Transluce 及其员工不就本次试点向 OpenAI 收取费用。OpenAI 将承担算力成本,提供现场设备和基础设施,并为我们的驻场员工提供临时办公空间。
  • 人员筛选。OpenAI 必须在试点前审核并批准 Transluce 的驻场人员。OpenAI 可就安全、保密和利益冲突相关问题进行筛查。
  • 升级机制。关于访问权限、内容删减或其他条件的分歧,首先提交给我们的 OpenAI 对接人,之后可升级至 OpenAI 高管以及安全与安保委员会——这是 OpenAI 基金会董事会下属的独立监督委员会。若仍无法解决,我们也可直接向该委员会提出关切。

发布细节

我们无法准确预判最终报告会包含哪些内容,但我们的意图是尽可能透明地公开我们的方法和发现。

Transluce 对我们的报告拥有编辑控制权,但有两项重要限制:

  • 非公开信息的删减。协议赋予 OpenAI 在报告发布前提前收到报告的权利,并可要求删减知识产权及其他非公开信息。这可能会限制我们分享支撑结论的完整证据,不过如果 OpenAI 的限制对我们的结论造成了实质性影响,我们可以公开说明。
  • 与仅限内部使用的模型相关的限制。协议禁止我们发布与仅限内部使用的模型相关的结果,因此我们公开提供的所有信息都将涉及对已发布模型所做的评估。

我们调查结果的完整、未经删减版本将提交给 OpenAI 基金会董事会的安全与安保委员会。

为进一步提升透明度,我们将在最终报告中记录我们开展工作的条件,并参照 AI Evaluator Forum 发布的 AEF-1 标准。关于我们如何保持评估者独立性的更多细节,另见我们的独立性与透明度政策。

展望未来

这次初步实践将帮助我们推进一项我们预计规模更大的计划:将 Transluce 的独立评估者嵌入 AI 模型开发者内部。

我们将继续在这项工作的基础上推进,这也是我们整体使命的一部分——增进公众对 AI 模型行为的理解与监督。本次评估以及嵌入式评估总体上,都无法取代其他形式的公共透明度、问责与监督机制。我们将继续投入完全公开的研究和事件调查,并支持扩大其他研究者访问权限的相关努力。


关于 Transluce

Transluce 是一家非营利研究实验室,致力于引导 AI 的发展服务于公共利益。我们开展研究与评估,以增进公众对 AI 模型行为的理解,涵盖失控智能体、儿童安全和操纵等领域。我们还构建开放、易用的工具来支持这类研究,推动形成成熟的独立 AI 监督与问责生态。

如果你有兴趣了解 Transluce 的开放职位,或以其他方式支持我们的工作,请访问 www.transluce.org。

来源:Transluce · transluce.org