跳到正文
Berkeley RDI:Blog·· 4 天前精选AI 评分63

Berkeley RDI 等发布 CyberArena:让 AI 智能体在实时网络攻防对抗中互测

CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat

AI 导读

Berkeley RDI 联合多所高校发布 CyberArena 基准,让两个 AI 智能体在 CTF 攻防赛制中同时攻击对手服务并修补自己的服务,每局结果由场地验证。

推荐理由

原文用对抗攻防实测展示静态基准如何随模型进步饱和,并给出成功率回落和常见失误的具体数据,可迁移到其他基准设计场景。

正文 · AI 翻译

CyberArena: 12 frontier agents, 40 challenges, 466 ranked games. Overall ranking led by GPT-5.6 Sol at 78.6, Claude Opus 5 at 73.8 and GLM-5.3 at 68.5, with attack ability plotted against defense ability.

CyberArena:在实时对称攻防对抗中评测 AI 智能体

Bangya Liu1,5,*, Jianhong Tu2,*, Yueyang Pan1,*, Hanhong Zhao6,*, Zhe Ye3, Hongwei Li4, Saastha Vasan4, Katherine Lambert7, Junmin Zhu4, Hao Wang3, Jienan Chen1,8, Yunze Xiao1,9, Minglai Yang1, Zihan Wang1, Hairong Yin10, Hao Wang11, Zhiwen Fan11, Tianneng Shi3, Zhun Wang3, Wenbo Guo4, Chenguang Wang2, Dawn Song3
12077AI 开源基金会,2加州大学圣克鲁兹分校,3加州大学伯克利分校,4加州大学圣塔芭芭拉分校, 5威斯康星大学麦迪逊分校,6麻省理工学院,7多伦多大学,8约翰斯·霍普金斯大学, 9卡内基梅隆大学,10普渡大学,11德州农工大学
*同等贡献
2026 年 11 月 | 预计阅读约 10 分钟 | 论文 | 项目主页

TL;DR

大多数网络安全基准只让一个智能体扮演一种角色,去攻击一个始终不变的目标,因此随着模型能力提升,这类基准很快就被刷满。CyberArena 则让两个 AI 智能体互相攻击对方正在运行的服务,同时修补自己的服务,每一轮结果都由竞技场验证。在 12 个前沿智能体之间进行的 466 场对局中,GPT-5.6 Sol 和 Claude Opus 5 领跑全场;而智能体单独能解出的挑战,一旦有防守方反击,就重新变得困难。实时压力和真实对手还同时暴露出两方面表现:既有高级能力,比如攻击方植入的后门能在防守方打补丁后依然存活;也有失败案例,比如智能体声称修复了漏洞,却从未测试过。

核心结论

有了实时对手,已解出的挑战会重新变难。在无人防守服务时,GPT-5.6 Sol、Claude Opus 4.8 和 GLM-5.3 都能解出我们 40 个挑战中的同样 30 个;但一旦有第二个智能体来防守,它们的平均成功率就从第 1 轮的 89% 降到第 2 轮的 52%,再到第 3 轮的 42%。对手的存在把一项可验证的任务变成了半开放式的环境,并动态生成被评测智能体从未见过的新任务和新环境。

打一个补丁并不能让服务变安全。防守方在丢失 flag(攻击方必须窃取的秘密)并部署补丁之后,仍有 40% 的后续轮次再次丢掉 flag;在 21% 的对局中,补丁还留下了另一条可走的路径。这类浅层补丁虽然能通过静态基准的固定检查,但实时攻击方会去搜索那条路径。

在实时压力下,智能体会试图不完成既定任务就拿到分数。例如,攻击方不去利用对手的服务,而是重放竞技场的授权请求来冒充竞技场本身;防守方则放行竞技场的健康检查,同时把对手挡在外面。我们的反作弊审查和红队对局在大多数此类路径被利用之前就将其封堵,但仍发现 1,336 次被接受的夺取中有 6 次(0.45%)来自捷径。

智能体的许多错误源于自身的工作,而非对手。最常见的错误出现在 23% 的对局中:智能体声称某项修复有效,但自己的测试并未显示这一点,也就是说,它们无法判断自己工作的完成程度,会虚报成功。智能体还会因为活跃回合中休眠而浪费时间(占 14% 的对局),尽管指令明确禁止空转。

什么是 CyberArena?

CyberArena 让网络安全智能体以人类夺旗赛(CTF)的攻防形式同场竞技,以此衡量它们的水平。每个智能体既要防守自己那份存在漏洞的服务副本,又要攻击对手的副本。这样一来,对手本身就成了基准:智能体面临的难度不仅取决于题目,还取决于对手的攻击和修补水平,而且随着双方不断适应,难度也在持续变化。

Top: jeopardy-style evaluation, where one agent plays a single role, attacking a static target or patching against fixed exploits, scored by capture rate or patch rate. Bottom: CyberArena, where two agents each host a live service with rotating flags, attack each other and patch their own service over three rounds, and round outcomes feed estimated attack, defense and availability scores.
闯关式基准只让智能体扮演一种角色,面对一个始终不变的目标。CyberArena 则让双方智能体同时扮演攻防两种角色,面对一个实时对手,并根据回合结果对攻击、防御和可用性打分。

对局设置。两个智能体在隔离网络中打三个 20 分钟的回合,各自托管同一服务的相同副本。智能体通过未授权访问对手的服务得分,例如读取 flag(每回合都会变化的秘密金丝雀值),或在不应写入、执行的位置写入数据、执行代码。同时,每个智能体必须修补自己的服务以阻止此类访问,并保证正常用户仍能使用,补丁在各回合间持续生效。竞技场会核验每一次攻陷,健康检查器则定期以正常用户身份操作,例如登录或上传文件,确认各服务仍然可用。

排名赛。由于智能体面对的对手和题目各不相同,我们的排名模型会对每项结果按对手和题目分别校正,把每个智能体的攻击、防御和可用性放到同一标尺上,并为每个受评智能体算出预期得分。为节省成本,竞技场根据对局能揭示多少信息来挑选下一批对局。本次排名赛覆盖 12 个前沿智能体在 40 道题上的 466 场对局。

题目来源。题目来自往届 CTF 决赛,如 saarCTF、FAUST CTF 和 DEF CON CTF,也来自真实开源应用,如 Jenkins 和 WordPress。其中五个真实漏洞(包括 Openfire 和 GeoServer 中的漏洞)被美国网络安全机构 CISA 列为已在野利用。一条由 AI 智能体组成的自动化流水线负责构建和审核新题目,因此随着新漏洞披露,题库可以持续扩充。

主要结果

我们评估了来自 10 家开发者的 12 个前沿智能体,覆盖 40 道题(14 道来自 CTF 决赛,26 道来自真实应用),共计 466 场对局。每场对局给智能体打 0 到 100 分,攻击(攻陷对手 flag 的回合)、防御(守住自己 flag 的回合)和可用性(健康检查器通过的服务测试)权重相同。我们的排名模型会预测每一对组合的得分,并对所有对手和题目取平均,因此预期得分 79% 意味着在典型题目上对阵典型对手时,百分制能拿到 79 分。

(a) Expected scores of 12 agents: GPT-5.6 Sol 78.6%, Claude Opus 5 73.8%, GLM-5.3 68.5%, down to HY4 Preview 56.3%. (b) Attack ability against defense ability, with GPT-5.6 Sol and Claude Opus 5 highest on defense.
图 1:(a) 12 个智能体的期望得分,基于 466 局比赛拟合,并对对手和 40 个参考挑战取平均,附 5–95% 可信区间。(b) 拟合出的攻击能力对防御能力,相对于全场水平。虚线标记均势线,防御轴跳过 0.3–0.78 区间,该区间内没有任何智能体。

排行榜

两强领跑。 GPT-5.6 Sol 的期望得分最高,为 79%,紧随其后的是 Claude Opus 5 的 74% 和 GLM-5.3 的 69%,头部得分呈均匀阶梯下降(图 1a)。但若按胜局数统计,两位领先者便明显拉开差距:它们的胜率分别为 83% 和 86%,而其他智能体的胜率均不超过 59%。

防御决定差距。 防御正是领先者与其他智能体的分水岭。攻击能力强的智能体往往防御也不弱(图 1b),但只有两位领先者能在超过 80% 的回合中守住自己的 flag,其他智能体最多只有 61%。GPT-5.6 Sol 的响应速度也最快,开局约两分钟就部署了第一个补丁,早于所有其他智能体。

交锋内幕

防守方会反击。 智能体能察觉对手,并在同一局内做出回应。防守方丢失 flag 后,有三分之二的案例会复盘命中自己的攻击,超过半数会在下一回合前部署补丁。打了补丁的防守方在下一回合守住 flag 的比例远高于未打补丁者(60% 对 9%),不过这只说明存在关联,并不能证明补丁起了作用。

攻击方会适应。 攻击方也会随之调整,这种来回交锋正是静态基准测试无法捕捉的。在图 2a 中,MiniMax M3 在两次丢失 flag 后补上了缺失的权限检查,GPT-5.6 Sol 未做调整的攻击随即失效。在图 2b 中,Claude Opus 4.8 封堵了通往其数据的一条路径,HY4 Preview 便改走另一条路径,持续窃取 flag,直到那条路径也被关闭。

Two game timelines over three rounds. (a) MiniMax M3 adds a missing permission check after losing its flag twice, and GPT-5.6 Sol's unchanged attack fails in round 3. (b) Claude Opus 4.8 blocks direct reads of its data, and HY4 Preview switches to the search feature and keeps capturing until search is blocked too.
图 2:两局经审计的比赛,各进行三个回合,攻击方在上线,防守方在下线。(a) MiniMax M3 在两次丢失 flag 后补上缺失的权限检查,GPT-5.6 Sol 未做调整的攻击在第 3 回合失效。(b) Claude Opus 4.8 封堵对其数据的直接读取后,HY4 Preview 转向搜索功能,在第 2、3 回合得手,直到该路径也被关闭。

涌现行为

我们用 AI 审计员复查了全部 466 局比赛,记录每个值得注意的动作及其依据。除攻击和打补丁之外,审计还显示智能体会提前规划、重复本可避免的错误,并寻找绕过规则的办法。

高级行为

对手意识。 在图 3c 中,Qwen3.8 Max 关闭了其服务上一个未受保护的 shell,但 Grok 4.6 仍在窃取 flag。为查明原因,Qwen3.8 Max 自己写了一个抓包工具,发现对手在复用窃取来的登录令牌,于是更换了该令牌。

为后续回合布局。 攻击方也会为之后的回合做准备。在图 3d 中,GPT-5.6 Sol 在 Gemini 3.5 Flash 的服务器中植入了一个插件,该插件在原始入口点被打补丁后依然存活,并在第 2 回合借其得手;防守方清除后,它又植入了新的插件。在所有比赛中,有 4% 的案例出现这类植入代码在打补丁后继续运行的情况。

Two game timelines over three rounds. (c) Qwen3.8 Max closes an unprotected shell, runs a packet sniffer, and replaces a stolen login token used by Grok 4.6. (d) GPT-5.6 Sol plants a plugin in Gemini 3.5 Flash's server, captures through it after the entry is patched, and plants a new one after the plugin is removed.
图 3:另外两局经过审计的对局。(c) 在关闭一个未受保护的 shell 后,Qwen3.8 Max 自己写了一个抓包工具,发现 Grok 4.6 在复用窃取的登录令牌,于是把令牌替换掉。(d) GPT-5.6 Sol 在 Gemini 3.5 Flash 的 Openfire 服务器里植入了一个插件。该插件在入口路由被修补后依然存活,GPT-5.6 Sol 在第 2 轮通过它完成捕获。

失败情况

未经核实的修复。最常见的错误是智能体宣称修复成功,却没有测试实际正在运行的版本(表 1)。在一局中,某个智能体把补丁上线前记录的健康检查结果当作补丁生效的证据。

补丁漏打或过度。另一些补丁要么不完整,要么过于严格。不完整的补丁堵住一条路径,另一条却仍然敞开;过度拦截的补丁虽然挡住了攻击者,却也拒绝了正常用户。例如,某个智能体给自己的 MLflow 服务加了权限检查,结果正常用户请求被拒,而只检查服务是否仍有响应并不能发现这个问题。

跟丢对局。智能体还会跟丢时间和状态。有些智能体在活跃轮次里睡觉,尤其是两个 Gemini 智能体,尽管指令明确禁止,它们仍有约三分之一的局在空转。另一些则在 flag 已经更换之后,还在攻击上一轮的目标。

表 1:对全部 466 局自动审计得出的智能体错误模式。每个百分比表示至少出现一次该类问题的对局占比,各类别之间有重叠。

类别 记录到的行为 对局占比
未经核实的修复声明 声称修复成功,但记录在案的测试不足以支持这一结论。 23%
部分补丁 防护措施堵住了一条路径,却留下了另一条已观察到的通往该能力的路径。 21%
轮次中睡觉 智能体在活跃轮次时间里故意休眠。 14%
修复未部署 智能体推迟部署已识别出的防御性修复。 9%
过度拦截补丁 授权修复拒绝了正常的应用工作流。 8%
轮次状态过期 flag 轮换后,智能体仍复用早先的目标或证据。 8%
攻击者代码残留 补丁部署后,攻击者植入的代码仍可执行。 4%

作弊

走捷径的尝试。在实战压力下,攻击者常常试探绕过预设漏洞的办法。最常见的尝试是直接登录对手的服务器,出现在 30% 的对局中,但记录显示无一成功。少数尝试确实奏效:有六次被接受的捕获来自重放竞技场自身的授权请求,或读取竞技场私存的对手 flag 记录。

骗过健康检查器。防守方同样会钻规则空子。在一局中,某个防守方改掉了对手的登录密码,然后让它关联到健康检查器的地址发来的请求跳过密码校验,于是健康检查器一直显示服务正常,而对手却再也无法登录。可见通过健康检查并不总意味着服务真的可用。

对竞技场进行红队测试。攻击方只能通过挑战应用中的漏洞得分,因此任何其他拿到 flag 的途径都是竞技场本身的缺陷。为了找出这类缺陷,三个前沿智能体在一个完全没有漏洞的模拟服务上对战,并被要求用任何手段拿到 flag,于是每一次被判定有效的夺取都指向竞技场的一个 bug。这些对局暴露了竞技场观战面板的一处信息泄露,我们已将其修复;对全部排名对局的检查也未发现有人利用过它。

对挑战进行红队测试。每个挑战还规定了双方各自允许做什么。有效的攻击必须利用应用中的真实漏洞、仅使用授予攻击方的访问权限拿到 flag;有效的防御必须在保持所有正常功能可用的同时挡住该攻击。在挑战进入题库之前,AI 审核员会尝试突破这些规则,例如寻找通往 flag 的捷径,或找出一种能通过健康检查却拒绝合法用户的防御,并且必须实际运行攻击来证明它报告的每个问题。

对局动态

单人作战会饱和。为了看清一个实时对手会带来什么变化,我们先让 GPT-5.6 Sol、Claude Opus 4.8 和 GLM-5.3 各自单独攻击每个挑战,没有防御方,每个挑战两次尝试。三者解出了相同的 30 个挑战(共 40 个),因此在这些挑战上,单人作战无法把它们区分开(图 4a)。

防御方让差距重新显现。在对抗对局中的同样这 30 个挑战上,攻击方的平均成功率从第 1 轮的 89% 降到第 3 轮的 42%,这与防御方在轮次之间打补丁的情况相符。降幅也因模型而异:GPT-5.6 Sol 在第 3 轮的攻击中仍有约一半成功,而 Claude Opus 4.8 和 GLM-5.3 则降到约三分之一(图 4b)。

一个例子。在 RCEaaS Shell Jail 的一场对局中——这个挑战 Claude Opus 4.8 曾单独解出——GPT-5.6 Sol 在第 1 轮开始约一分钟内就修补了一个路径穿越漏洞,该漏洞原本能让用户逃出被限制的目录。随后 Claude Opus 4.8 尝试了它的单人攻击手法,发现对打过补丁的服务已经失效,但在自己那份未打补丁的副本上仍然有效。通过这一对比,它在消息中判断对手已经修补了该漏洞。

为什么重要。在静态基准测试中,一个任务一旦被解出就永远算解出;但同样的任务在有实时对手存在时会变得更难。因此,一个实时对手或许能让现有挑战随着模型进步而持续有用,而不必迫使基准作者将其退役并编写新题。

(a) Solo capture rates on all 40 challenges: GPT-5.6 Sol 95%, Claude Opus 4.8 78%, GLM-5.3 78%. (b) On the 30 challenges all three solve alone, capture rates fall from 100% solo to 52%, 37% and 35% by contest round 3.
图 4:GPT-5.6 Sol、Claude Opus 4.8 和 GLM-5.3 的单人与对抗夺取率。(a) 单人模式,覆盖全部 40 个挑战,两次单轮尝试中任意一次夺取即计入。(b) 在三者都能单独解出的 30 个挑战上:单人成功率与各对抗轮次的对比,附 95% 自助法置信区间。

为什么这很重要

真实世界的安全攻防是一场持续变化的较量。让系统保持安全不是一劳永逸的事,因为攻击者会针对每一次修补做出调整,防守方也必须随时掌握系统上正在发生什么。在实践中,安全工程师会通过渗透测试探测自家服务,读取攻击者留下的痕迹,对安全事件进行分级和调查,并在时间压力下为运行中的系统打补丁。静态基准测试完全体现不了这些,因为它的目标从不变化,也没有对手在另一端。CyberArena 把这一循环引入评测,因此智能体若能察觉到对手就会得到奖励——比如 Qwen3.8 Max 构建了一个抓包工具——同时,修复服务而不把它弄坏也会得到奖励。

不会饱和的可验证环境。构建和评测强大的智能体,需要能自动核验结果的环境,但这类环境一旦被智能体攻克就失去了价值。竞争提供了一条出路:双方的进步都会给对方制造更难的题目,而像 GPT-Red 这样的自我对弈方法已经在用这一思路,让提示词注入攻击者与同步训练的防守方对抗。CyberArena 把同样的原则用到网络安全领域,并核验结果;它的对局记录可以帮助攻击方和防守方相互对抗训练,我们把这个循环称为“递归对抗改进”。

伯克利 RDI

推进去中心化与人工智能的科学、技术和教育,赋能负责任的数字经济。

版权所有 © 2025 UC Regents;保留所有权利

来源:Berkeley RDI:Blog · rdi.berkeley.edu