跳到正文

CyberBench Patch v1.1

Vals AI / 编程 · 修开源项目的安全漏洞,检查能否编译、拦住原攻击并保留正常行为。

官方评测
在 AIHOT 中参与排名
所属领域编程
上游数据时间11/19 08:00
最近成功同步11/22 20:05

它测什么,怎么测

56 个 Patch 任务,统一 mini-swe-agent;编译、原漏洞复测及隐藏输入与维护者修复对照。

AIHOT 怎么用它

计分:漏洞修补一类评测。从上一轮综合榜已收录官方 API 价格或公开权重的型号里,取前 10 家厂商各自名次最高的型号。至少测过其中 60% 才参与计算(发布不满一个月的没测不算缺)。

评测成绩

同一模型测了多个档位时,按固定规则只取一套代表成绩;没有可用成绩的模型标为“未计入”并写明原因。匿名测试型号不展示,名次照搬原榜,每项最多列 30 个。

原榜名次原榜型号原始成绩代表配置
1anthropic/claude-haiku-5-5Anthropic89.3%Max 推理
1openai/gpt-daybreak-blueOpenAI89.3%Max 推理
1openai/gpt-5.6-solOpenAI89.3%Max 推理
1openai/gpt-6-solOpenAI89.3%Max 推理
5zai/glm-5.3Z.ai87.5%Max 推理
5thinkingmachines/inkling-mini-1117Thinking Machines Lab87.5%来源默认配置
5deepseek/deepseek-v4-flash-0731DeepSeek87.5%High 推理
5google/gemini-3.8-flashGoogle87.5%High 推理
5anthropic/claude-opus-5-5-rangeAnthropic87.5%Max 推理未计入:Cyber Range / CVP 为独立运行条件,不能代替标准型号的 Patch 成绩。
5anthropic/claude-sonnet-5-5Anthropic87.5%Max 推理
5google/gemini-3.7-flashGoogle87.5%High 推理
5openai/gpt-6-lunaOpenAI87.5%Max 推理
5anthropic/claude-fable-5-1Anthropic87.5%Max 推理
5openai/gpt-5.6-terraOpenAI87.5%Max 推理
15deepseek/deepseek-v4-pro-0813DeepSeek85.7%Max 推理
15fireworks/ember-1Fireworks AI85.7%来源默认配置
15google/gemini-3.6-flashGoogle85.7%High 推理
15meta/muse_spark_1_2Meta85.7%xHigh 推理
15google/gemini-4-argonGoogle85.7%High 推理
15tencent/hy4-previewTencent85.7%来源默认配置
15meta/muse-wonderMeta85.7%Max 推理
15anthropic/claude-opus-5-5Anthropic85.7%Max 推理
15anthropic/claude-opus-5Anthropic85.7%Max 推理
15zai/glm-5.3-flashZ.ai85.7%Max 推理
15deepseek/deepseek-v4.1-flashDeepSeek85.7%High 推理
15xiaomi/mimo-v2.6-flashXiaomi85.7%来源默认配置
15xiaomi/mimo-v2.6-proXiaomi85.7%来源默认配置
28meta/muse-wonder-fullMeta83.9%Max 推理
28alibaba/qwen3.8-27bAlibaba83.9%xHigh 推理
28anthropic/claude-sonnet-5-rangeAnthropic83.9%Max 推理未计入:Cyber Range 为独立运行条件,不能代替标准型号的 Patch 成绩。
评测局限与数据署名

只取 Patch,不混入 PoC 或总分;回退比例按 Patch 的 56 题计算。 缺测留空;回退成绩计入并标注,受影响题目过半不计。

数据许可:官方公开结果;公开再展示保留官方署名,完整再分发授权仍以 Vals 条款为准

成绩由 Vals AI 发布。各项评测的原始分数尺度不同,不能直接相加;AIHOT 按公开规则把它们折算成同一种分数。