Cognition 发布 AI 软件工程师 Devin，SWE-bench 端到端解决 13.86% 问题

Devin 是一位不知疲倦、技术娴熟的队友，既能与你并肩构建，也能独立完成任务供你审阅。

有了 Devin，工程师可以专注于更有趣的问题，工程团队可以追求更宏大的目标。

Devin 的能力

凭借我们在长期推理和规划方面的进步，Devin 能够规划和执行需要数千次决策的复杂工程任务。Devin 可以在每一步回忆起相关上下文，随时间学习，并修正错误。

我们还为 Devin 配备了常见的开发者工具，包括沙盒计算环境中的 shell、代码编辑器和浏览器——人类完成工作所需的一切。

最后，我们赋予了 Devin 与用户积极协作的能力。Devin 实时报告其进展，接受反馈，并根据需要与你一起做出设计选择。以下是 Devin 能做什么的示例：

Devin 可以学习如何使用不熟悉的技术。

阅读一篇博客文章后，Devin 在 Modal 上运行 ControlNet，为 Sara 生成带有隐藏信息的图像。

Devin 可以端到端地构建和部署应用

Devin 制作了一个模拟生命游戏的交互式网站！它逐步添加用户请求的功能，然后将应用部署到 Netlify。

Devin 可以自主查找并修复代码库中的错误

Devin 帮助 Andrew 维护和调试他的开源竞赛编程书。

Devin 可以训练和微调自己的 AI 模型

仅凭 GitHub 上研究仓库的链接，Devin 就能为大型语言模型设置微调。

Devin 可以处理开源仓库中的错误和功能请求

仅凭 GitHub issue 的链接，Devin 就能完成所有必要的设置和上下文收集。

Devin 可以为成熟的生产仓库做出贡献。

此示例是 SWE-bench 基准测试的一部分。Devin 解决了 sympy Python 代数系统中对数计算的错误。Devin 设置代码环境，复现错误，并自行编写和测试修复。

我们甚至尝试在 Upwork 上给 Devin 真实的工作，它也能完成！

在这里，Devin 编写和调试代码来运行计算机视觉模型。Devin 对结果数据进行采样，并在最后编译一份报告。

Devin 的性能

我们在 SWE-bench 上评估了 Devin，这是一个具有挑战性的基准测试，要求智能体解决在 Django 和 scikit-learn 等开源项目中发现的真实 GitHub 问题。

Devin 端到端正确解决了 13.86%* 的问题，远超之前最先进的 1.96%。即使给出了要编辑的确切文件，之前最好的模型也只能解决 4.80% 的问题。

Devin 在数据集的随机 25% 子集上进行了评估。Devin 是在无协助的情况下，而所有其他模型都得到了协助（意味着模型被告知了需要编辑的确切文件）。

我们计划很快发布更详细的技术报告——敬请期待更多细节。

关于 Cognition

我们是一家专注于推理的应用 AI 实验室。我们正在构建能力远超当今现有 AI 工具的 AI 队友。通过解决推理问题，我们可以在广泛的学科中解锁新的可能性——代码只是开始。我们希望帮助世界各地的人们将他们的想法变为现实。

我们资金充足，包括由 Founders Fund 领投的 2100 万美元 A 轮融资。我们感谢行业领袖的支持，包括 Patrick 和 John Collison、Elad Gil、Sarah Guo、Chris Re、Eric Glyman、Karim Atiyeh、Erik Bernhardsson、Tony Xu、Fred Ehrsam 以及更多人士。

雇用 Devin

Devin 目前处于早期访问阶段，我们正在扩大容量。要开始使用 Devin 进行工程工作，请加入等待名单或通过 info@cognition.ai 联系我们。