OpenAI 详解前沿 AI 风险管理:从训练到部署的四层防护
Managing frontier AI risk: From training to deployment
OpenAI 发布长文,介绍其在模型全生命周期中管理前沿 AI 风险的防御纵深体系,涵盖模型对齐、安全与沙箱、拦截防护、监控响应四层保护,并按研究、内部部署、外部部署三阶段说明各层的作用。
OpenAI 官方逐段说明从训练沙箱到外部部署的四层防护与各阶段安全评审流程,读者可对照了解前沿模型风险管理如何落地。
管理前沿 AI 风险:从训练到部署
2026 年 11 月 18 日 · 安全
收听文章 15:15
分享
前沿模型的能力正在快速提升,而我们理解、对齐并保障其安全的能力必须始终领先一步。我们正在控制模型的开发与发布节奏,包括在需要更多时间达到安全标准时暂停内部训练(在新窗口打开),或暂缓发布 GPT‑6.1 Astra 等模型。我们引入了安全案例等新流程,并要求在整个训练过程中提供更有力的对齐行为证据。这些要求会拖慢模型发布的速度,但也让我们更有信心安全地向前推进。
自 7 月发生 Hugging Face 事件以来,我们加强了模型训练、测试和部署环节的防护措施与对齐要求。本文说明我们在每个阶段如何评估和管理风险,从高度隔离的训练环境,到你在自己电脑上使用的 Codex 部署。我们在每个阶段都会评估模型和防护措施,必须通过安全审查才能进入下一阶段。
覆盖模型全生命周期的纵深防御
我们采用纵深防御策略,设置多层保护,以降低对任何单一防护措施的依赖。如果某一层失效,其他层可以协助防止伤害、限制后果,或向我们发出警报以便介入。
我们的防护体系围绕四个层面展开:




模型对齐
对齐是指让 AI 系统可靠地按照我们的意图行事。模型必须理解用户的需求,同时遵守政策以及更广泛的社会利益。我们训练模型遵循模型规范中的原则,并通过对齐评估、审计以及更广泛部署前的审查来评估其表现。
安全与沙箱隔离
这些控制措施限制模型可以访问或影响的文件、工具、网络及其他资源,有助于在训练和评估期间控制错误或不对齐行为造成的后果。
拦截式防护
这些是额外的防护措施,通过评估用户请求和模型操作,拦截可能有害或未经授权的行为。其中包括帮助防止网络滥用或协助制造生物武器的安全分类器(在新窗口打开),以及可以拦截潜在未经授权模型操作的自动审查(在新窗口打开)。
监控与响应
这些系统负责发现可疑行为、调查事件经过,并在需要时介入。它们提供部署流量的可见性,并能就新出现的风险类型向我们发出警报。
有效的监控取决于模型可监控性,即监控系统能否可靠地从模型的推理和操作中发现错误或不安全行为。例如,一个在思维链(CoT)中说出自己作弊意图的模型,比一个隐瞒这一信息的模型更容易被监控。我们在训练期间和部署前评估可监控性,开发更好的衡量方法(在新窗口打开),并研究影响它的因素(在新窗口打开)。
Hugging Face 事件表明,我们不应只靠沙箱隔离来约束能力极强的模型。现在我们会在大多数内部和外部部署环境中监控前沿模型,包括所有使用工具的内部部署。
在模型开发与部署的三个阶段中,每一层的作用各不相同:
研究:我们在沙箱环境中训练、测试和使用模型。
内部部署:OpenAI 员工将模型用于实际工作。
外部部署:模型向更广泛的人群和组织开放。
不同阶段我们依赖的防护层也不同。训练期间,对齐尚不确定,我们更倚重沙箱和监控。随着模型在部署阶段获得更广泛的访问权限,对齐和系统级控制变得越来越重要。在每个阶段,我们都会评估各项防护措施合在一起,是否足以匹配模型的能力和访问权限。我们的判断可能会由安全咨询小组(SAG)复核,并接受 OpenAI 基金会董事会安全与安保委员会(SSC)的监督。
研究期间:将模型限制在沙箱环境中
在研究阶段,我们通过评估模型来建立对其对齐属性的信心。由于目前还不能完全依靠对齐来防止危害,我们高度依赖安全和沙箱机制,限制模型能访问和操作的范围。
基于对齐研究、监控系统和互联网基础设施安全的现状,我们认为负责任的做法是在无实时互联网访问的条件下进行前沿模型训练。Hugging Face 事件之后,我们大幅重构了内部研究系统,通过以下方式限制模型:
限制模型权限的沙箱
用虚拟机进一步将工作负载与底层计算机隔离
网络和云边界,将整个集群与互联网切断
我们持续对这一系统进行红队测试,让由我们最强模型组成的团队尝试接入实时互联网、突破安全边界,或与它们本应隔离的智能体通信。这有助于检验防护措施能否抵御其要约束的模型能力。
作为额外的防御层,我们监控所有前沿推理,以检测模型是否绕过了我们的安全不变量。如果监控发现模型已接入互联网,我们会呼叫安全团队并自动暂停该工作负载。
当防护失效时,监控提供了关键的兜底。在最近一份失准报告中,我们披露监控曾发现一个内部研究模型利用 DNS 配置错误(在新窗口中打开)获得了有限的互联网访问。9 月 20 日至 10 月 1 日期间,我们暂停了最强模型的训练和评估,同时调查并修复了这一安全缺口。
为了让干预快速可靠,我们构建了 Control Room,这是一个集中式系统,可跟踪研究工作负载,并在收到停止作业指令后 35 秒内停止模型的进一步输出。这些控制直接在推理基础设施中强制执行,因此不依赖每个研究工作负载自行实现关停机制。对于前沿模型研究工作负载,如果 Control Room 不可用,它们也会停止模型输出。
红队测试与监控相辅相成。我们无法保证沙箱牢不可破,但红队测试能帮我们评估模型需要付出多大代价才能逃逸。模型所需的代价越高,监控方发现并阻止它的机会就越大。
我们在研究阶段强制实施严格的安全与监控措施,原因有以下几点:
模型仍在评估中。部分模型尚未完成公开发布所需的安全训练、对齐审计和审查。
**前沿研究环境可能放大风险。**某些研究任务需要更宏大的设置,使模型比外部部署时通常表现得更执着、能力更强(例如,解决纳维-斯托克斯问题需要一支由 10,000 个智能体组成的团队)。
大规模训练时人工监督更少。与典型的 Codex 会话不同,我们的训练工作负载涉及大量模型操作,没有专人逐一跟进每次交互。
内部部署:测试对齐,密切监控行为
在广泛发布之前,员工会从对前沿模型的沙盒研究使用转向无沙盒的内部使用,例如在 ChatGPT 中向员工开放该模型。这让我们更好地了解模型在实际场景中的表现(在新窗口中打开),并为部署决策提供依据。
在这一阶段,我们让模型访问更广泛的互联网、我们的 Slack、代码库和内部基础设施。这是风险上的重大变化,因为模型的行为现在会直接影响我们构建和运行 OpenAI 所用的系统。在内部部署期间,我们需要更多地依赖模型对齐、系统防护和监控,而非安全控制。
前沿模型在沙箱之外部署之前,必须先经过对齐和可监控性测试(在新窗口打开)。我们有一套对齐评估,既测试特定的对齐失效模式(例如规避安全与安保限制),也广泛测量倾向性(例如重采样内部 Codex 轨迹并检查是否存在失准)。你可以在最新的GPT‑6 Astra 系统卡(在新窗口打开)中了解更多关于我们对齐与可监控性评估的信息。
为模拟我们的生产环境,我们增加了一层系统级分类器防御,旨在防范网络滥用和生物武器化等前沿危害。我们还通常要求使用 Codex 的员工启用自动审查(在新窗口打开),该机制会评估潜在风险操作并将其上报给用户。
最后,在内部部署期间,我们对每一次前沿推理都监控是否存在失准行为。由于模型现在拥有扩展的权限,并能访问内部信息和系统,检测数据外泄或将敏感数据发送到未授权目的地等风险变得尤为重要。监控还有助于我们调查新形式的失准(在新窗口打开)。
外部部署:大规模防范滥用与失准
公开部署会让模型接触到多得多的用户、任务和环境,风险的范围和种类也随之扩大。到了这个阶段,我们还要防范那些蓄意引导模型造成伤害的潜在恶意行为者。
公开发布之前,模型和系统防护措施必须满足我们的外部部署安全要求。我们通过以下方式评估:
执行更全面的一套对齐与安全评估。对前沿模型,这包括用内部自动化红队开展新一轮自适应测试,对模型的稳健性进行压力测试。我们在系统卡(在新窗口打开)中公布能力与安全评估的结果。
对能力最强的模型,我们还会请第三方参与测试,对防滥用措施和模型本身的对齐情况进行压力测试。
检查内部部署阶段的监控标记,追踪基础模型底层对齐状况的任何变化。
除了“同步”防护措施(例如模型安全训练和系统分类器),外部部署还依赖离线执法与调查。这些团队结合规模化智能体调查员与人工审核,识别并锁定潜在威胁行为者,涵盖网络滥用、生物武器化、蒸馏以及模型自身的失准等问题。离线执法尤其有助于跨账号收集信息,从而更全面地勾勒潜在威胁。
Daybreak、Rosalind等可信访问计划提供了又一层安全保障,在加快防御方和正当研究人员工作的同时,限制潜在攻击者的访问。
事件响应与披露
当我们发现某一层安全防护出现失效时,无论是否实际造成伤害,都希望迅速调查、分级,并在可行且适当的情况下对外披露。按照我们的失准报告政策,任何员工都可以标记事件并要求公开披露。这些报告会被调查;如果在是否应对外披露上存在分歧,决定将上报至我们的安全咨询小组(SAG)。除了依赖员工报告,我们还会主动查找失准事件,以便处理并分享发现。
你可以在这里(在新窗口打开)查看我们的失准报告。
这项工作既取决于研究进展,也取决于运营纪律:正确配置控制措施、测试它们之间的相互作用,并在失效时果断响应。一个配置错误的网络服务或一次失败的自动停止,都可能削弱原本强大的防护。
随着模型获得新能力,我们需要不断质疑防护措施背后的假设,并在必要时加以改进。来自研究、内部使用和公开部署的经验教训,必须影响我们如何训练、评估和部署下一代模型。
我们将继续通过系统卡、事件报告、内部部署风险报告(在新窗口打开)以及外部评估分享发现,让其他人能够审视我们的做法,包括其中的局限。当这些证据达不到我们为安全设定的标准时,我们会再次暂停训练或暂缓发布,直到满足这些要求。
相关研究与资源
制定安全标准
在网络关键能力时代把控模型开发节奏 — 我们如何放慢前沿训练,同时加强隔离、扩大监控,并要求更有力的对齐证据。
迈向前沿 AI 训练的安全论证 — 基于证据的安全论证初步指南,涵盖技术保障措施、运营实践以及对失准的调查。
有效第三方评估的优先事项与原则 — 我们提出的对安全论证、保障措施、评估和模型行为进行独立审查的方法。
内部使用灾难性风险评估定期摘要(在新窗口打开) — 这份公开报告覆盖 2026 年 6 月至 9 月,介绍了内部前沿模型部署情况、评估出的风险,以及保障措施和治理方面的变化。
定义并评估对齐行为
面向更强大、更有益 AI 的更新版模型规范 — 我们如何围绕五项核心价值更新模型规范,以引导模型的判断、行为以及对人类监督的尊重。
智能体安全中的评估与生产行为差距,以及评估意识的作用(在新窗口打开) — 一项关于安全评估结果与生产行为差异的研究,包括模型对评估目标的理解如何影响其表现。
超越 g-mean²:可监控性的补充指标(在新窗口打开) — 用于比较可监控性、估算模拟系统中残余风险的新指标,这些系统中监控器会拒绝模型输出。
GPT‑6 Astra 系统卡(在新窗口打开) — 对 Astra 的能力、安全性、对齐和可监控性的详细评估,以及其部署保障措施和局限。
约束模型并改进保障措施
保护我们的前沿模型训练环境 — 我们如何加强隔离、搭建离线研究环境,并用最强的模型测试隔离边界。
为安全与对齐训练激活分类器(在新窗口打开) — 分类器如何利用模型的内部激活来检测潜在有害行为,并中断回复或工具调用。
在无同步人工监督下自动审查智能体操作(在新窗口打开) — 一个独立的审查智能体如何评估跨越沙箱边界的操作,帮助编程智能体自主工作,同时阻止潜在有害或未经授权的操作。
GPT‑Red:释放自我改进以提升鲁棒性 — 我们如何通过自我对弈训练自动化红队,以发现漏洞并提升模型对提示词注入的鲁棒性。
控制室 — 我们如何追踪研究基础设施上的各类工作负载,并在安全或安保问题需要干预时,对模型输出迅速叫停。
事件响应与披露
我们如何检测前沿模型的失准 — 我们的监控系统结合激活探针、基于模型的审查、自动化调查和人工响应,来发现并调查可疑行为。
Hugging Face 事件与未来之路 — 我们从 Hugging Face 事件中得到的发现,以及它促使我们在安全、监控和对齐方面做出的改变。
一个智能体利用 DNS 访问了外部聊天机器人(在新窗口打开) — 一个研究模型如何借助 DNS 过滤不足绕过互联网限制,监控如何发现这一行为,以及事后新增的管控措施。
挫败一场协同的模型蒸馏行动 — 我们如何通过账号处置、技术管控和合作伙伴协调,调查并挫败了试图提取受保护模型推理过程的行动。
我们的模型失准报告框架 — 我们追踪、调查和披露可疑模型行为的流程,包括原因或严重性仍不确定的案例。
失准报告与通告(在新窗口打开) — 我们已披露的事件与通告合集,展示失准如何产生,以及防护措施在哪些地方成功、哪些地方失败。
研究进展与应用
研究加速:OpenAI 内部视角 — 编码智能体正在如何改变 OpenAI 内部研究的早期证据,包括其使用日益增多、任务日趋复杂,以及对实验的影响。
关于纳维-斯托克斯千禧年大奖难题 — 由内部 AI 系统产出的一份数学证明,并附有 Lean 形式化,展示了大规模研究部署的能力。
Daybreak — 我们的网络安全计划为经过审核的防御者提供先进的 AI 能力、安全工具和支持,帮助他们发现漏洞、加强防御。
推出面向生命科学研究的 GPT‑Rosalind — 一款专为生物学、药物发现和转化医学打造的专用模型,符合条件的机构可通过可信访问计划使用。
作者
OpenAI
来源:OpenAI:官网动态 · openai.com