Epoch AI 评审 SWE-Bench Pro：超 20% 任务存在评分缺陷，判定为 Flawed

返回

Epoch AI 评审 SWE-Bench Pro：超 20% 任务存在评分缺陷，判定为 Flawed

Epoch AI：研究、数据与评测·2026-09-01 08:00·16天前

AI 导读

Epoch AI 对 SWE-Bench Pro 的基准评审判定其为 Flawed，认为很可能超过 20% 的任务存在评分缺陷。

Epoch AI：研究、数据与评测

精选

67

AI 编辑部评分，满分 100

Epoch AI 评审 SWE-Bench Pro：超 20% 任务存在评分缺陷，判定为 Flawed

2026-09-01 08:00· 16天前

AI 导读

Epoch AI 对 SWE-Bench Pro 的基准评审判定其为 Flawed，认为很可能超过 20% 的任务存在评分缺陷。

推荐理由

Epoch AI 汇总多方审计数据并给出 Flawed 判定，读者可据此决定是否还把 SWE-Bench Pro 当作可信的编码评测依据。