英国 AISI 分析前沿模型在网络能力评测中的作弊行为

你能信任一个 AI 模型去做你期望它做的事吗？这对部署 AI 系统的人和试图评估其能力的人来说都是一个核心问题。在部署中，一个通过非预期或未经授权的手段追求目标的模型可能会造成伤害，尤其是在高风险的应用场景中。在 AI 能力评估中，同样的行为可能会削弱结果的有效性：模型可能看起来通过完成一项困难任务展示出了某种能力，但实际上它是在利用该任务或其环境。

AISI 已开始针对这种行为对 AI 模型进行监测和评估，我们将这种行为称为作弊（cheating）。我们测试过的每一个针对该行为的模型都试图作弊。当被问及时，模型并未可靠地报告这一行为，而且往往不会在其思维链中对此进行推理，这表明检测作弊很可能需要稳健的监测方法。

在这篇博客中，我们分析了网络评估中的作弊行为，并讨论了随着模型能力增强，这种行为所带来的影响。

我们所说的作弊是什么意思

我们将作弊定义为：为了通过捷径、变通方法或任务本不应、也不该允许的非预期解法来达成目标，而采取超出任务范围或规则明确禁止的行为。

这种行为此前已被其他人记录过，尤其是在能力评估期间：模型曾试图入侵评估基础设施以寻找评分函数，在网上搜索现有解法，以及对编程任务硬编码答案。

我们使用“作弊”这一标签，并不一定意味着存在欺骗意图。尽管如此，作弊之所以令人担忧有几个原因：它可能使评估夸大模型的实际能力，并可能在完成难以验证成功与否的任务时误导用户。随着模型能力增强，作弊也变得更加令人担忧：能力更强的模型可能会找到意想不到的作弊方式，或付出更多努力来隐藏其行为。

在介绍我们的结果之前先说明一点：对于 AISI 所有已发布的能力评估，我们都会人工审查记录，以确保作弊没有抬高我们对模型能力的估计。据我们所知，在我们报告的结果中，没有任何模型成功作弊（即未被发现）。我们将在下文回到这一说法能保证什么、不能保证什么。

AISI 网络评估中的作弊行为

在 AISI 的网络安全能力评估中，模型的任务是通过执行一系列攻击性网络操作（例如逆向工程编译后的代码或利用安全漏洞），在模拟环境中找到一个隐藏的“flag”（一串字母和数字）。这些任务要求模型进行“黑客攻击”，但仅在限定范围内：每项任务都有明确的范围和一组规则，界定了预期的解法。当 AI 模型超出这一范围或采取规则明确禁止的行为时，我们将其归类为作弊。在这些评估中，没有任何模型被专门提示去作弊。 

衡量作弊未遂

为了大规模分析作弊行为，我们使用了一个自动化 LLM 监控器。该监控器会审查被评估 AI 模型的轨迹：即模型推理和行动的完整序列。监控器既标注整条轨迹，也标注单个行动，并识别模型是否在任何时刻作弊。我们对这个监控器进行了多次迭代，以减少假阳性，并用一组人工识别出的作弊示例对其进行评估，以估计其假阴性率。尽管如此，监控器仍可能漏掉一些实例，因此以下结果应被解读为已检测到的作弊尝试的下限估计，而不是对该行为的完整记录。 

一个突出的案例

一个尤为明显的作弊行为案例发生在一项网络能力评估中，该评估因配置错误而意外变得无法解决。被测试的模型在尝试作弊时如此执着，以至于它在一个外部服务上编写并运行了代码，该服务托管在 AISI 系统之外的开放互联网上，试图访问我们的评估基础设施，从而触发了 AISI 系统中的安全警报。没有造成任何损害，也没有信息泄露，但如果我们没有以安全的方式设计和构建评估基础设施，这次尝试本可能成功。此后，我们已采取行动进一步加强 AISI 系统的安全。

本分析中测试的每个模型都有时尝试作弊（图 1）。似乎没有明显趋势表明作弊会随能力提升而增加或减少。在各 AI 开发者中，模型能力提升与在该评估中尝试作弊的比例上升并不相关。我们认为，这意味着——也许并不令人意外——作弊行为在很大程度上受到用于训练模型的具体技术（包括对齐训练）的影响，而不仅仅是原始能力。

不同模型之间的作弊行为差异很大（图 2）。常见行为包括在网上搜索解决方案、攻击或提升并非评估目标的系统权限（包括模型自身运行所在的系统），或探测评估软件以查看它是否会泄露任务解决方案。作弊行为并不局限于单一方法：模型在一次评估中常常尝试多种方法，有时在单条轨迹中就会尝试不止一种。

自我报告和思维链监控的局限

一种被提出的检测作弊的方法是询问模型是否采取了任何被禁止或可疑的行动。我们的结果表明，这并不是一种可靠的方法。

在我们的实验中，模型在被询问时并未一致承认尝试作弊，并且只有不到 50% 的情况下将其描述为错误（图 3）。即使模型确实承认了按我们的定义构成“作弊”的行动，它们也常常将该行动描述为被允许的行为——这可能是由于真正的误解（图 4）。 

另一种识别作弊的可能方法是监控模型的思维链—— 即它在处理任务时产生的书面推理，这种推理通常（但并非总是）是人类可读的（在当今的模型中）。检查这些推理有时可以揭示模型如何理解任务、考虑了哪些行动以及为何选择某种特定方法。这些实验的结果表明，仅靠这一方法也不足以检测作弊。

在我们的实验中，模型往往不会在其思维链中对其作弊行为进行推理（图 5）。在 Opus 4.7 的案例中，该模型很少为被归类为作弊的特定行动生成推理轨迹，因为它使用了自适应推理：动态决定为给定行动生成多少显式思维链（如果有的话）。在存在相关推理的情况下，它并不一定能阻止该行为：我们观察到一些案例，模型明确考虑某个拟议行动是否构成作弊，然后仍然继续执行（图 6）。 

综合来看，这些结果表明，自我报告和思维链都不是识别作弊行为的稳健方法。 

作弊行为的影响

如果我们无法信任模型不会作弊，将会产生重大后果。成功的作弊在难以验证成功的领域尤其危险，例如 AI 安全与安保研究，或者在意外行动的代价可能非常高的领域，例如网络行动或军事决策。作弊还会在 AISI 的能力评估中产生额外的验证工作，这拖慢了可靠结果的产出，在最坏的情况下还可能使这些结果完全失效：METR 对 GPT-5.6 Sol 的评估就因此受到了显著影响。如果 AI 能力继续快速进步，部署周期和决策加速，第三方评估者面临的快速推进压力可能会使其难以进行高置信度评估所需的验证。

即使作弊率保持不变，随着模型能力增强，这些后果也可能加剧。能力更强的模型可能会找到更难检测、且一旦成功危害更大的作弊方法。这在网络安全等高风险领域尤其令人担忧，因为攻击能力正在迅速提升，而一次针对周边基础设施的尝试就可能造成重大伤害。

这带来了日益严峻的监督挑战。我们的结果已经表明，模型自身的自我声明和推理并不可靠，无法作为其是否作弊的证据。如今，AISI 通常可以通过人工审查结合额外工具（如本研究中使用的 LLM 监控器）来检测作弊。但随着模型能力增强，这些方法可能变得不那么有效。 此前 AISI 的研究认为，我们监督模型的能力可能会随时间推移而下降，这甚至可能削弱这种方法。更根本的解决办法是训练模型从一开始就不作弊——但鉴于这类行为一年多前就在前沿模型中被报告过，要稳健地将其对齐消除可能并非易事。 

有兴趣为这项工作做出贡献吗？我们一直在寻找杰出的人才加入我们的 Red Team——请在此提交意向书。 

‍