OpenAI· @OpenAI · X·· 2026-07-09AI 评分55
AI 导读
我们对 SWE-Bench Pro（最广泛使用的 AI 编码基准之一）进行了审计，发现它已不再能可靠衡量前沿编码能力。 我们发现该评估已饱和，噪声天花板约为 70%，因此撤回此前推荐研究社区将其作为领先编码评估的建议。 https://openai.com/index/separating-signal-from-noise-coding-evaluations/
正文 · 原文
We audited SWE-Bench Pro, one of the most widely used AI coding benchmarks, and found it no longer reliably measures frontier coding capability.
We find the eval to be saturated at a ~70% noise ceiling, and are retracting our previous recommendation that the research community use it as a leading coding eval.
https://openai.com/index/separating-signal-from-noise-coding-evaluations/
来源：OpenAI · x.com