METR 让 scikit-learn、Sphinx、pytest 的 4 位维护者盲审 296 个 AI 生成的 PR，发现约一半通过 SWE-bench Verified 自动评分的补丁不会被合并进主分支；经金标准基线归一后，维护者合并率平均比自动评分低 24.2 个百分点。研究强调 AI 补丁未像人类开发者那样获得迭代反馈，不应据此断言是能力上限，但直接按基准分数推断智能体实际用处可能高估。