Berkeley RDI 发布 CyberBinGym 基准，测试 AI 智能体能否仅凭二进制补丁写出真实漏洞利用

CyberBinGym：AI 智能体能否把二进制补丁变成真正的漏洞利用？

Lambang Akbar Wijayadi¹, Zhaoqi Xiao^1,2, Zhun Wang³, Hongwei Li⁴, Wenbo Guo⁴, Heng Yin², Zhenkai Liang¹, Dawn Song^3
1新加坡国立大学，²加州大学河滨分校， ³加州大学伯克利分校，⁴加州大学圣塔芭芭拉分校
草稿 · 预计阅读 8 分钟

安全修复通常以编译好的更新形式送到用户手中，比如操作系统软件包、固件镜像，以及专有软件或第三方软件的发行版本。补丁的部署往往耗时很久，即便是关键系统，也可能在修复发布后数月甚至数年仍未打补丁。在这段窗口期内，攻击者只要对比已打补丁和未打补丁的二进制文件，就能找到一条通往可用漏洞利用的路径。这就是1-day 场景：修复已经可用，但仍在运行漏洞版本的系统依旧暴露在外。

要把这些信息变成可用的漏洞利用，传统上需要大量逆向工程专业知识、相当多的人工投入，往往还要花上数天甚至数周来分析，才能定位漏洞并开发出可用的利用。分析人员必须读懂编译后的代码，找出与安全相关的改动，并判断底层的错误是否只能造成崩溃，还是能走得更远。

如果 AI 智能体能把这套工作自动化，攻防天平就可能向攻击者倾斜。降低利用已发布补丁所需的知识门槛、人工投入和时间，会让攻击更容易上手，也会压缩防守方的有效响应窗口。本意是保护系统的更新，同时也在给攻击者提供可操作的信息，而防守方仍受制于部署延迟。因此，衡量这种能力对于理解 AI 对攻防双方的影响至关重要。

我们此前的基准测试从互补的角度考察了这个问题。CyberGym 在有源码访问权限的条件下衡量漏洞复现能力。CyberGym-E2E 把评估扩展到漏洞发现与修复。ExploitGym 则考察智能体能否把给定的漏洞和触发输入变成可用的漏洞利用。

CyberBinGym 要问的是：当源码和起始输入都被拿掉，会发生什么？只给一个存在漏洞的二进制文件和对应的已打补丁版本，AI 智能体能否还原出漏洞，并利用存在漏洞的版本？

TL;DR

CyberBinGym 包含 100 个任务，源自 53 个开源项目中的真实漏洞。智能体会拿到去符号的漏洞版与补丁版二进制文件、运行时依赖、分析工具，以及一个受控受害服务的访问权限。它们拿不到源码、源码补丁、漏洞描述或参考 PoC。

在评估过的配置中，最强的是 Codex 搭配 GPT-5.6，在 88% 的任务上还原出目标漏洞，并在 20% 的任务上完成经审计的漏洞利用。Claude Code 搭配 Claude Opus 5 的漏洞还原率为 85%，利用率为 6%；Kimi Code 搭配 Kimi K3 的还原率为 64%，没有一次成功利用。

在匹配的 20 个任务子集上，提供修补后的二进制文件使 Codex 的利用成功率从10% 提升到 25%。对其 20 个成功目标采用标准二进制加固重新构建后，成功利用降至两个任务。

这些结果表明，智能体可以在受控环境中利用编译后的补丁开发出可用的漏洞利用。同时也揭示出，从发现漏洞到将其转化为实际安全后果之间仍存在巨大鸿沟。

核心要点

仅凭二进制文件的漏洞利用在某些真实漏洞上已触手可及。智能体必须依靠恢复出的程序结构和执行反馈来工作。最强配置在未提供漏洞描述或崩溃输入的情况下也能成功。

崩溃只是故事的一部分。64–88% 的漏洞恢复率与 0–20% 的利用成功率并存。即便智能体已找到触发漏洞的输入，理解该漏洞能让攻击者控制什么仍是一大挑战。

编译后的补丁提供了有用信息。在匹配子集上，获取修复版本使恢复率从 55% 提升到 90%，利用率从 10% 提升到 25%。经审计的轨迹显示，补丁信息可以直接定位被利用的缺陷，或帮助智能体调整搜索方向。

加固大幅降低了观测到的成功率。在主评估中 Codex 成功利用的 20 个任务上，加固后的后续测试中仅有两个利用存活。这一发现支持分层防御的思路，但这些能力如何迁移到生产系统仍是未解问题。

什么是 CyberBinGym？

CyberBinGym 评估的是1-day 场景：修复已发布，但存在漏洞的版本仍在使用。修补后的二进制文件是智能体判断变更内容的主要线索。

二进制分析消除了源码任务中可用的许多线索。编译会模糊变量名、类型、注释和程序结构。剥离符号会移除额外的符号和调试信息。反编译器可以恢复出可读的近似结果，但该近似可能不完整或具有误导性。智能体必须将其与实际执行情况相互印证。

该基准基于 CyberGym 实例及相关的 OSS-Fuzz 和 ARVO 工件构建。我们重建了存在漏洞和已修补的版本，从提供给智能体的二进制文件中移除 sanitizer 插桩，剥离符号和调试信息，并使用内部参考输入验证配对。这一流程产出 604 个经过验证的二进制对，从中选取 100 个任务作为评估集。

任务涵盖图像与文档处理、网络、压缩和密码学。覆盖六类漏洞：空间内存错误、时间内存错误、无效指针访问、无效释放、初始化错误和类型安全错误。空间内存错误占 40 个任务；较少见的类别被刻意增加了额外覆盖，以考察不同的分析能力。

这些是体量可观的软件工件。存在漏洞的二进制文件中位数为 1.60 MiB，最大达到 38.04 MiB。任务组合包括 20 个低复杂度、40 个中等复杂度和 40 个高复杂度案例，依据策展方制定的评分标准，涵盖可达性、输入构造、崩溃可观测性、二进制复杂度和补丁复杂度。

两项独立的成功度量

CyberBinGym 分别独立衡量漏洞恢复和漏洞利用。

漏洞恢复要求提供一个概念验证输入，能在隐藏的易受攻击验证构建中触发预期的 sanitizer 检测到的失败，同时修补后的验证构建仍不失败。单纯的进程崩溃不算数。插桩的验证构建放在智能体工作区之外；智能体分析的二进制文件不含 sanitizer 插桩。

漏洞利用要求通过漏洞驱动的行为，从独立的受害服务中获取一个新的秘密 flag。匹配的 flag 是必要条件，但我们还会人工审计轨迹。通过分析环境直接访问，或使用程序已有的命令执行功能，都不算漏洞利用得分。

这两个分数回答的是不同的问题。智能体可能利用的是旧程序中的另一个漏洞，而被接受的漏洞利用也不必同时通过目标漏洞的差异崩溃测试。在解读总体比率之间的差距时，这一区别很重要。

环境将静态分析、动态执行和受害服务隔离开。外部访问受限，原生网页搜索被禁用，从而限制获取外部漏洞信息。记录的工具交互和提交的产物用于支持审计。

主要结果

我们在相同的 100 个任务上评估三种智能体–模型配置，每条轨迹的名义预算为 1,000 次模型调用。论文详细说明了记录轨迹和资源核算中的例外情况。

成本和时间是各任务的平均值，包括未成功的尝试。主要实验使用禁用防护措施的可信访问程序来衡量能力边界；这些是所评估配置的结果，而非普通的有防护部署。

Codex 和 Claude 恢复漏洞的比率相近，但漏洞利用率差异很大。Claude 每任务花费的时间和金钱最少。Kimi 平均花费更多，恢复率却更低，且没有一次漏洞利用成功。花更多时间搜索不一定意味着进展更多。

为了考察在已证明可利用的任务上的差距，我们关注至少有一个智能体成功利用的 22 个任务。Codex 在其中两个任务上仍止步于仅崩溃的结果，Claude 为 13 个，Kimi 为 17 个。这些失败不能全部用任务在基准环境中无法利用来解释。

轨迹对比指向一个反复出现的挑战：在第一次无效内存访问之后仍维持对程序状态的建模。成功的智能体会追踪错误在后续执行中的后果，并在运行时证据与之矛盾时修正假设。失败的尝试往往在崩溃处结束，或继续调查受害服务无法到达的路径。

分析复杂度并不决定可利用性

在低复杂度任务上，Codex 的漏洞恢复率为 95%，到高复杂度任务时降至 85%；与此同时，其利用成功率从 15% 升至 27.5%。有的漏洞难以定位，但一旦找到就能提供有用的控制点；有的漏洞容易触发，却难以利用。

这些结果并不能证明规模更大或更复杂的程序天生更容易被利用。样本分组规模很小，而且评分标准衡量的属性与可利用性并不相同。不过，这些结果确实说明：单靠一个难度标签，无法替代对各项结果的分别测量。

补丁版二进制文件带来了什么？

在 20 个配对任务上，我们比较了只提供存在漏洞的二进制文件时的 Codex，与同时提供两个版本的 Codex。

补丁版本提供了一个对照，可以缩小搜索范围，也让智能体能够检验候选行为在两个版本之间是否存在差异。在这里，成功率提高的同时，平均成本也更低。

我们另外审计了补丁信息在 22 个任务中的 26 条成功轨迹里是如何体现的。其中 17 条轨迹里，补丁信息直接指向了后来被利用的漏洞；7 条轨迹里，它影响了搜索决策，但没有指出最终的利用目标；剩下 2 条轨迹中，记录的证据无法建立这种联系。

这一区分可以避免夸大补丁所揭示的信息。有些智能体利用更新来定位最终缺陷；另一些则用它评估初步发现，然后回到旧版本中继续搜索。审计描述的是观察到的行为，而配对消融实验衡量的是在该子集上提供第二个二进制文件所带来的收益。

推理与重复尝试都有帮助

在最高推理强度下，Codex 恢复了 20 个漏洞中的 18 个，并完成了 5 次利用。关闭推理后，它只恢复 6 个漏洞，且没有完成任何利用。平均成本从 $2.33 升至 $31.42。记录下来的轨迹显示，更强的设置与跨依赖阶段更持续的分析相关，不过工具使用失败也造成了部分差异。

重复尝试同样能提升覆盖率。在另一项 20 任务的规模评估中，恢复率从单次尝试的 68.3% 提升到三次尝试的 90%，利用率则从11.7% 提升到 25%。这些是 Success@k 估计值，是在每个任务三次记录运行的子集上取平均得到的，因此单次尝试的成功率与主评估及其他消融实验并不相同。

一次失败的运行可能反映的是分析路径没有成效，而不是任务超出了智能体的能力。增加尝试次数能提供更多找到有效路径的机会，但收益会递减，利用方面的差距依然存在。

标准加固之后会怎样？

我们用栈金丝雀、位置无关可执行文件、完整 RELRO、不可执行栈以及启用 Fortify 的编译方式，重新构建了主实验中 Codex 成功利用的 20 个目标。

Codex 仍然恢复了20 个漏洞中的 15 个（75%），但只完成了两次利用（10%）。这是从先前成功案例中选出的后续集合，并不代表全部 100 个任务在加固后的利用情况。

结果显示，观察到的漏洞利用大幅减少。结果同时表明，所测试的防护措施并未堵死所有路径：仅存的两条利用路径会影响栈之外的可写状态，并复用已有代码。观察到的降幅中还包含智能体搜索波动和服务交付失败的影响，因此无法单独归因于加固措施本身的因果作用。

这对攻击方和防御方意味着什么

AI 能把二进制补丁变成漏洞利用，这可能改变攻防双方的力量对比。CyberBinGym 表明，智能体已经能在受控环境中利用编译后的更新还原并利用真实漏洞，既不需要源代码，也不需要预先提供触发输入。对攻击方而言，把这项工作自动化，可以降低针对未打补丁软件所需的技术门槛和人工投入，让漏洞利用更容易上手。

对防御方来说，关键问题在于修复发布与部署之间的时间差。补丁安装后才会提供保护，但补丁的发布也可能泄露信息，让人知道哪些系统仍在运行存在漏洞的版本。如果智能体让漏洞利用变快，而部署延迟依然存在，攻击方就会在这段时间窗口内占据优势，防御方的响应时间则更少。在我们的配对研究中，提供打过补丁的二进制文件后，漏洞利用成功率从 10% 升至 25%，这正说明更新本身对这一平衡有多重要。

同样的能力也可以用于加强防御。二进制分析能帮助防御方在没有源代码的情况下评估第三方软件、确定紧急更新的优先级，并判断各项缓解措施能否阻止漏洞造成有害后果。分别衡量漏洞还原与漏洞利用，有助于区分容易复现的故障与已被证实的安全后果，从而在补丁窗口期内做出更有依据的决策。

我们的实验使用历史漏洞和受控的受害服务，并未衡量生产环境的实际入侵率，也没有测量利用一个新发布补丁所需的时间。这些结果确立的是能力本身；它究竟能缩短多少现实世界的响应窗口，仍是一个有待进一步评估的重要问题。

随着这类能力不断提升，防御方需要把 AI 辅助分析转化为更快的防护行动。及时部署补丁，以及在更新安装前仍然有效的多层防御，正变得越来越重要。CyberBinGym 提供了一种方法，用来追踪可能加速攻击方进展的能力，并为防御方如何为这一变化做好准备提供参考。

Berkeley RDI

推进去中心化与 AI 的科学、技术和教育，赋能负责任的数字经济。

Copyright © 2025 UC Regents; all rights reserved