JetBrains研究：编程智能体基准偏离真实任务流

JetBrains 研究团队分析 4,782 个真实编程智能体会话后指出，功能开发与 bug 修复在真实请求中占比远低于一半，用户会在长会话中不断切换提问、规划、审查与编辑任务；而 SWE-Bench Pro 中这两类任务占比高达 93.8%。该团队据此发布 SWE-TaskFlow，主张编程智能体基准应匹配真实任务流。 这意味着现有以功能开发和 bug 修复为主的基准，可能无法反映用户实际使用智能体的方式。该结论来自 JetBrains 对自身收集会话数据的分析，尚未说明是否经独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。