跳到正文
2025年2月10日周一
  1. Sam Altman:Blog

    三点观察

    OpenAI 阐述关于 AI 经济学的三点观察:模型智能与训练资源的对数成正比,可预测扩展;AI 使用成本每 12 个月下降约 10 倍,远超摩尔定律速度;智能线性增长将产生超指数级社会经济价值。据此,AI 代理将如虚拟同事般渗透各领域,科学进步将大幅加速,虽然短期内生活照旧,但长期将深刻重塑社会经济结构,个人意志力和适应能力将成为关键价值。

    推荐理由:Sam Altman 提出 AI 经济学三大观察,描绘 AGI 时代 Agent 工作图景

2025年2月6日周四
2025年1月21日周二
  1. Modal 官方工程博客65

    Modal Sandboxes 正式可用,为不可信代码提供安全执行环境

    Modal 宣布 Sandboxes 正式可用,这是安全运行 LLM、用户或第三方来源不可信代码的隔离执行环境。它提供 exec API,可在运行时用与 Functions 相同的 Image API 动态配置任意语言依赖,支持文件系统快照以持久化和多 Sandbox 扇出,并复用 Functions 基础设施带来快速冷启动、GPU 和全球区域选择。

    推荐理由:Modal 官方宣布 Sandboxes 正式可用,给出 exec API、动态镜像和 SWE-bench 7 分钟跑完 Verified 等实测数字,可据此评估智能体代码执行方案。

2025年1月16日周四
2025年1月13日周一
2025年1月8日周三
  1. Answer.AI 官方研发博客78

    Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑

    Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。

    推荐理由:来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。

2025年1月6日周一
  1. Anthropic:Engineering72

    Claude 3.5 Sonnet 在 SWE-bench Verified 基准测试中刷新纪录

    升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

    推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

2024年12月23日周一
2024年12月12日周四
2024年12月10日周二
  1. Cognition 模型 / Devin 博客73

    Cognition 宣布 Devin 正式全面开放使用

    Cognition 宣布 Devin 正式全面可用,无席位限制,所有工程团队可在 app.devin.ai 开始使用,并提供 Slack 集成、IDE 扩展(VSCode 及分支,Beta)和 API,以及 Cognition 工程团队的 onboarding 支持。

    推荐理由:官方宣布 Devin 全面开放并给出适用任务、使用建议和多个开源 PR 实例,读者可据此评估如何把 Devin 接入自己的工程流程。

2024年12月5日周四
  1. Answer.AI 官方研发博客45

    Answer.AI 推出终端 AI 助手 ShellSage,利用 tmux 上下文辅助运维

    Answer.AI 发布开源工具 ShellSage(代号 BashBuddy),旨在解决开发者在终端使用 AI 时频繁切换上下文的痛点。该工具集成 tmux 的 capture-pane 功能,使 AI 能“看见”当前终端状态和历史记录,从而提供更具针对性的命令建议和安全警告。文章通过一个 Let's Encrypt 证书泄露排查案例,展示了人机协作在系统管理中的价值,强调其核心是增强而非替代人类直觉。

2024年12月3日周二
2024年11月22日周五
  1. METR:Research62

    METR 发布 RE-Bench:对比语言模型智能体与人类专家的 AI 研发能力

    METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。

    推荐理由:原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

2024年11月6日周三
2024年10月3日周四
2024年9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年9月5日周四
  1. DeepSeek:API 更新日志78

    DeepSeek V2.5 模型发布:合并升级并提升代码与通用能力

    DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。

    推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。

2024年8月13日周二
2024年7月24日周三
  1. DeepSeek:API 更新日志63

    DeepSeek-Coder 升级为 DeepSeek-Coder-V2-0724

    DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新,具体参数规模、性能基准及可用性细节未在更新日志中披露。

    推荐理由:DeepSeek Coder 升级到 V2-0724,编码能力再进一步,对 API 用户是直接可用的提升,虽然官方没给技术细节,但仍值得关注。

2024年6月18日周二
2024年6月5日周三
2024年5月29日周三
  1. Mistral AI:News73

    Mistral 发布首个代码模型 Codestral,22B 开放权重支持 80+ 编程语言

    Mistral 发布其首个代码生成模型 Codestral,为 22B 开放权重模型,训练覆盖 80+ 编程语言,采用 32k 上下文窗口,并支持 Fill-in-the-middle 补全。

    推荐理由:官方发布首次给出模型规模、语言覆盖和专用端点细则,读者可据此评估是否将其接入现有编码工作流。

2024年3月15日周五
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 Devin 的 SWE-bench 技术报告

    Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

    推荐理由:Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

2024年3月12日周二
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 AI 软件工程师 Devin,SWE-bench 端到端解决 13.86% 问题

    Cognition 发布 AI 软件工程师 Devin,可规划并执行需要数千次决策的复杂工程任务,配备 shell、代码编辑器和浏览器等沙盒开发环境,并能实时汇报进度、接受反馈与用户协作。

    推荐理由:官方宣布 Devin 并给出 SWE-bench 13.86% 的成绩与具体能力示例,读者可据此评估智能体在真实工程任务中的可用性。

2024年2月8日周四
2023年12月27日周三
  1. Andrej Karpathy:Blog

    Licklider 1960《人机共生》评述

    Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段,预测人机能力互补——计算机处理机械工作、人类负责思考,这一范式延续64年直至LLM打破界限。他预见云计算雏形,但误判技术路径:当时看好的逻辑推理AI成死胡同,而因缺乏数据被忽视的统计方法(LLM)终成主流。对交互预测也偏离现实:设想的多人协作大屏未普及,键盘鼠标仍是主导;对语音识别"5年实现"的乐观估计,实际耗时64年未成熟。

    推荐理由:Karpathy 借 1960 年文献反思人机共生与 AI 发展路径,历史洞察深刻

2023年12月17日周日
2023年12月8日周五
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 发布 AutoTranslateDoc 命令行工具,用 GPT 模型自动翻译技术文档

    LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。

    推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。

2023年10月17日周二
2023年8月29日周二
2023年3月13日周一
  1. LangChain:Blog60

    LangChain 发布 LLM 与 SQL 结合的实践指南

    LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。

    推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。

2021年8月10日周二
2021年7月7日周三
2020年12月5日周六