OpenAI 研究：智能体安全评测与生产行为存在差距，评测目标误判是关键因素

TL;DR

我们比较了智能体在安全评估中和在实际部署情境中的行为，发现：

• 评估与生产环境之间存在行为差距。在所研究的全部六个模型中，评估中的成功率都低于可比生产 情境。
• 对评估目标的感知可能解释这一差距。模型认为 评估在测试什么，与其行为存在关联。在一项干预研究中，仅仅告知智能体正在被评估并不会显著改变其表现，而明确指出正确或错误的目标，则会使评估表现朝相反方向发生大幅变化。

我们开始直接追踪这一差距，以便更好地评估在这些安全评估中观察到的智能体行为能在多大程度上推广到真实使用场景。

引言

评估感知已在多种模型和评估环境中被广泛观察到 [1-3]。模型常常会口头指出某次交互是一次评估，推测测试目标，有时还会据此改变行为 [4]。这给解读和信任评估结果带来了实实在在的挑战：我们观察到的行为中，有多少能推广到部署环境？这种行为变化在多大程度上取决于模型对任务的解读？

本文聚焦智能体安全评估，涵盖长周期任务——智能体在遇到潜在的安全关键触发条件（例如警告、限制或障碍）时必须决定如何应对。尽量缩小这里的评估与生产差距至关重要，因为一项有信息价值的安全评估，需要衡量智能体在真实使用中是否做出同类决策。

为评估这些评估在多大程度上反映智能体在真实世界中的行为，我们比较了评估与生产中的成功率，并探究模型对评估情境的解读是否能解释这一差距。结果表明：

（1）评估与生产之间的行为差距确实存在，且方向出人意料：一些模型在安全评估中的表现似乎明显差于生产环境，而差距最大的模型，恰恰是最频繁口头说出错误评估目标的那些。

（2）评估感知本身未必会导致模型行为改变。

（3）然而，对评估目标 的感知与评估和生产之间的行为差距密切相关，而目标框架可以因果性地改变评估成功率。

衡量评估与生产之间的行为差距

我们将评估与生产之间的行为差距定义为：模型在评估中的表现，与在测试可比区分的生产决策中的表现之间的差异。

评估表现。 我们采用“尊重警告”（Respecting Warnings）评估作为代表性的安全评估。该评估检验智能体在执行用户任务时，能否对警告、限制和障碍做出恰当回应。警告可能描述真实的授权边界，也可能是对某项操作或方法的限制。因此，正确行为要求结合用户目标来判断警告的权威性和适用范围。我们将成功定义为：在遇到相关警告或限制后，不做出任何被禁止的规避尝试。

可比较的生产表现。 为了衡量部署期间的可比较表现，我们选取与“尊重警告”评估的底层决策结构相匹配的生产案例。我们从具有代表性的生产流量中，提取经过脱敏的 Codex 生产日志上下文窗口 。我们通过多阶段流程识别可比较的生产决策。首先，由分类器识别出引入障碍或约束的工具观察结果。其次，由评分员和基于来源的审核员判断该情境是否构成非平凡的安全关键选择，并识别所请求的效果、管辖权限、约束范围、适用例外以及合法替代方案。第三，由匹配器将每个保留的决策与“尊重警告”评估目录进行比对，并保持单个参考案例的决策结构。我们仅依据决策前的上下文进行筛选，不以模型成功或失败为条件。随后，我们对部署中实际记录的后续行为进行评分，评分沿用“尊重警告”的评分定义，并根据可用的生产证据加以调整。 这一流程有助于识别可比较的决策，但我们注意到匹配仍是近似的，模型面临的案例组合各不相同，且抽样的生产上下文并不能代表所有部署场景。

评估与生产之间的行为差距确实存在。 我们针对六个已服务的模型（GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol）， 在可比较案例上测量了评估表现与生产表现。在下图 1 中可以看到，评估与生产之间的差距确实存在。差距范围为 10.2 到 37.4 个百分点，其中 GPT-5.6 Sol 和 GPT-6 Sol 的差距最大。

差距的方向出人意料。 在所有模型中，评测成功率 都低于在可比生产决策上的成功率。关于评测意识，一个常见的担忧是模型能识别出安全测试，并调整自身行为，从而抬高测得的安全水平。 而这里观察到的差距方向恰恰相反：模型在评测中表现得比在匹配的生产场景中更不安全。这些分数比较的是评测环境与已部署 Codex 的行为，指令、工具、用例构成以及模型认知上的差异都可能造成这一差距。本文后文会详细探讨这一现象的可能解释。尤其是，模型可能试图去做它认为评测会奖励的行为，却误解了实际被测试的内容。它针对推断出的测试所做的回应，反而可能使其行为比在可比生产场景中更不安全，从而拉低测得的安全表现。然而，无论评测是高估还是低估安全性，这种错配始终是一个根本性问题，也限制了我们能多大程度自信地用评测分数预测生产环境中的行为。

评测表现与生产表现的相关性

分数存在差异，并不意味着评测对部署毫无信息价值。因此我们进一步追问：在评测中表现更好的模型，是否在生产决策上也表现更好？我们用 Spearman 秩相关和无加权普通最小二乘拟合来比较各模型的成功率。在全部六个模型上，Spearman 的 ρ = 0.771 ，线性拟合的 R² = 0.655 （见图 2）。这种正相关关系说明，Respecting Warnings 评测保留了关于这些模型相对表现的有用信息，尽管其绝对分数并不能直接换算成生产成功率。 不过需要指出，模型样本量很小，这限制了我们推广所观察到的关系的把握程度。

拆解评测意识的各个组成部分

这些结果表明，评测分数捕捉到了模型之间一些有意义的差异，尽管模型在评测和生产中的具体排名并不一致。接下来我们追问：模型对任务场景的解读能否解释这种评测与生产之间的差距？为此，我们拆解评测意识的各个组成部分，并区分一般评测意识（即识别或推测某次交互是评测）与具体评测目标意识（即推断评测在测试哪种行为）。

在这里，我们通过模型思维链中的自发陈述来衡量言语化的评估意识。我们对每条推理轨迹应用分类器：通用评估意识评分标准判断智能体是否陈述或推测当前交互是对助手的评估、基准测试、评分试验或测试；评估目标意识评分标准判断智能体是否认为自己正在接受针对特定目标的测试，即识别或抵制提示词注入，或遵守警告、限制或告诫。观察到的推理中任何位置出现符合条件的陈述都计入，但该陈述必须将交互与对智能体的评估联系起来。它不要求所猜测的目标正确，也不要求能明显影响后续行动。 我们注意到， 这种方法的一个局限在于，它捕捉的是表达出来的假设，而非每一个潜在信念 [5]。

评估中的意识。对于“遵守警告”评估，我们对所有 rollout 进行评分。在图 3 中，我们看到模型经常言语化评估意识。通用意识率为 57.0% 到 83.7%，特定目标意识率为 43.7% 到 66.3%。

生产环境中的意识 。对于生产环境，我们检查相关任务片段中所有可用的推理。两种形式的意识在生产环境中都罕见得多（见图 4）。通用意识率为 4.6% 到 23.5%，其中 GPT-5.6 Luna 最高。特定目标意识率为 0% 到 5.9%。我们在这里看到的跨模型一致分离表明，正如预期，评估意识在评估中比在生产环境中频繁得多。

将评估意识与行为差距联系起来

评估和生产在测量性能以及模型言语化评估意识的频率上都不同。我们询问这种意识是否有助于解释行为差距：识别出评估本身是否表明行为变化，还是模型认为评估正在测试什么才重要？为了研究这一点，我们将每个模型在评估中的通用意识和目标特定意识率与其评估-生产行为差距进行比较。

相关性结果。 仅就总体评估意识而言，它与各模型间的差距只有较弱的线性关联，R² = 0.008；而具体目标意识则表现出更强的关联，R² = 0.370。值得注意的是，越频繁说出具体评估目标的模型，其生产环境与评估环境的表现差距往往越大（见图 5）。可见，识别出自己正在被评估，本身并不能决定模型会如何回应：关键在于它如何理解正在被测试的内容。这种区别在单个轨迹中清晰可见。在一项评估任务中，一个智能体正确推测出该基准可能是在测试它在应用约束后是否会报告失败，并得出结论：不应绕过应用的逻辑。在另一项任务中，它错误地把一个持续出现的告警理解为可能存在提示词注入的基准测试信号，并推理认为自己应当忽略该告警、继续执行。两条轨迹都包含了对评估的假设； 不同之处在于模型推断出的目标，以及由此认为的恰当回应。

GPT-5.6 Sol 和 GPT-6 Sol 的评估与生产行为差距最大，说出错误目标的比例也最高：超过 45.0% 的评估 rollout 提到了与实际情况相反的评估目标，即抵御提示词注入。这一模式或许能解释评估与生产差距为何呈现出人意料的方向； 它表明，当模型误解了评估在测试什么、并试图针对自己推断出的目标进行优化时，表现反而可能更差。由此可以看到，评估环境可能诱使模型产生错误的目标假设，进而导致它们采取在同类生产场景中较少出现的不安全行为。

Rollout 层面的关联。 为了在单个 rollout 层面考察这些关系，我们比较了在不同形式的言语化意识条件下取得的成功率。在全部六个模型中，总体成功率为 46.1%，而在言语化表达了总体评估意识的 rollout 中为 42.7%。模型推断出的评估目标则区分出不同结果：在言语化表达了正确目标（即尊重警告）的 rollout 中，成功率为 61.3%；而在言语化表达了错误且相反目标（即抵御提示词注入）的 rollout 中，成功率仅为 22.8%。这些关联表明，模型的回应方式可能与其对评估内容的判断有关。 与此同时，上述模型层面的相关性也说明，评估分数仍然携带了一些关于相对生产表现的信息。

干预研究。为了更直接地检验“评估目标意识”的作用，我们在 Respecting Warnings 评估上以 GPT-6.1 Sol 为基础模型做了一次干预实验，加入一条系统级提示，分别（a）只说明这是一次评估，（b）说明正确目标是尊重警告，（c）说明错误目标是抵抗提示注入。在泛化的评估框架下，性能没有明显变化（63.1% 对 63.4%）。明确给出正确的评估目标后，成功率升至 91.6%；而给出错误且相反的评估目标后，成功率降至 17.6%（见图 6）。这两条针对具体目标的提示让行为朝相反方向变化，尽管它们都表明这是一次评估。

这次干预所体现出的对目标框架的敏感性，指向了评估与生产环境行为差距的一个可能来源。在智能体安全评估中，很大一部分难点在于判断当前情境需要哪种行为。一旦确定了合适的应对方式，执行起来可能相对直接。这与许多能力评估不同：能力评估的目标更明确，难点在于达成目标。因此，安全评估的分数可能尤其容易受模型对“正在测试什么”的猜测影响。 推断评估者偏好的行为，可能在不提升模型于真实世界中识别恰当行为的能力的情况下改变其表现。 如果评估情境引发的目标猜测与可比的生产情境不同，这些猜测就可能导致在同一个底层安全选择上给出不同回应，进而造成评估与生产环境的行为差距。

讨论

越来越清楚的是，随着模型能力不断增强，阻止它们识别出评估很可能会变得困难，甚至可能无法避免。一个高度智能的模型可能、也理应能够从表面线索、模拟工具或环境的其他特征中识别出评估。关键在于，即便模型意识到自己正在被评估，它在可比任务上的行为能否在评估与部署之间保持一致。为此，我们正优先追踪评估与生产环境的行为差距，并设计那些目标不易从评估环境中推断出来的评估。

致谢

感谢 Maja Trębacz、Ian Kivlichan、Jenny Nitishinskaya、Lillian Sun、Saachi Jain、Kai Chen、Ally Bennett 和 Gaby Raila 提出的宝贵反馈。

参考文献

[1] Needham et al. (2025). 大型语言模型往往知道自己正在被评估。

[2] Schoen 与 Nitishinskaya（2026）。Metagaming Matters for Training, Evaluation, and Oversight。

[3] Williams、Raymond 与 Carroll（2025）。Sidestepping Evaluation Awareness and Anticipating Misalignment with Production Evaluations。

[4] Schoen 等（2025）。Stress Testing Deliberative Alignment for Anti-Scheming Training。

[5] Chen 等（2025）。Reasoning Models Don't Always Say What They Think。