Answer.AI 实测 Devin：20 项任务仅 3 次成功
热点事件历史事件
Answer.AI 实测 Devin：20 项任务仅 3 次成功
1 篇报道1 个报道来源2025-01-08更新
先了解这件事
报道摘要
Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可，但在扩展至新项目创建、研究及代码修改等 20 项真实任务时，结果令人失望：仅 3 项成功，14 项失败，且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”，或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期，难以替代人类开发者。
摘自 Answer.AI 官方研发博客
最新进展2025年1月8日 08:00
Answer.AI 实测 Devin：20 项任务仅 3 次成功，自主编程能力存疑报道时间线
沿着报道，了解事件的不同侧面。
2025年1月8日
- Answer.AI 官方研发博客精选Answer.AI 实测 Devin：20 项任务仅 3 次成功，自主编程能力存疑
Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可，但在扩展至新项目创建、研究及代码修改等 20 项真实任务时，结果令人失望：仅 3 项成功，14 项失败，且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”，或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期，难以替代人类开发者。