METR 分析 LLM 是否加速了科学发现:漏洞发现激增,算法优化未见明显拐点
METR 汇总多类公开数据寻找发现速度的拐点,发现漏洞发现明显加速:cURL CVE 从 2025 年的 9 个增至 2026 年的 36 个(15 个 AI 标记),Firefox 从 210 增至 342,Microsoft CVE 年化约为 2025 年的 2.5 倍。
推荐理由:原文用多领域公开数据对比 AI 对发现速度的影响,读者可以看到漏洞发现明显加快而算法优化尚未加速的反差。
内容类型
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展。
411 条精选近 30 天 52 条共收录 2,220 条
METR 汇总多类公开数据寻找发现速度的拐点,发现漏洞发现明显加速:cURL CVE 从 2025 年的 9 个增至 2026 年的 36 个(15 个 AI 标记),Firefox 从 210 增至 342,Microsoft CVE 年化约为 2025 年的 2.5 倍。
推荐理由:原文用多领域公开数据对比 AI 对发现速度的影响,读者可以看到漏洞发现明显加快而算法优化尚未加速的反差。
Prime Intellect 在 nanoGPT optimizer speedrun 上跑了153次自主运行,覆盖18个前沿模型,单次最长8天、每个运行8xH200。
推荐理由:原文展示了18个前沿模型在nanoGPT speedrun上153次自主研究运行的完整对比和公开轨迹,可帮助读者理解模型间研究能力的真实差距在哪里。
Anthropic 研究指出,随着 AI 智能体在共享代码库、市场等社会系统中承担更多任务,智能体间交互量或将超过人机交互。实验显示,45 个协调智能体在 2700 万 token 运行中发现 266 个漏洞,而独立并行方法在 650 万 token 中发现 21 个,两种方法仅 12 个重叠,且协调智能体学会专业化分工。研究同时警示个体层面的良性行为怪癖可能叠加为意外的系统性失败。
推荐理由:实验把多智能体风险从猜测变为可量化模式,协调失败并不随更强智能自然消失,这会影响人们如何设计部署中的智能体交互环境。
Google Research 提出知识画像框架,发现前沿 LLM(如 Gemini3、GPT-5)的事实编码接近饱和,但回忆(recall)能力不足,多数事实错误源于“丢钥匙”而非“空货架”。该框架将事实分为编码失败、回忆失败等五类画像,并配套推出 WikiProfile 基准,含 2,150 条维基百科事实,每条配 10 个问题,用于分别探测编码、回忆与识别能力。
推荐理由:知识画像把事实错误拆成编码失败与召回失败,显示前沿模型问题主要在已存知识不稳定调用,思考更多恢复已编码事实而非补全缺失,为优化侧重提供判断依据。
Google Research 与 Google DeepMind 推进医疗 AI 系统 AMIE,实现实时临床视频问诊,首次在此场景展示专家级 AI 能力。该系统基于 Gemini 和 Project Astra 构建,可解读视觉与听觉线索、引导虚拟体格检查并实时诊断推理。随机研究中,临床评估者对 AMIE 的病史采集、诊断准确性等核心能力给予好评,患者演员也更偏好视频体验。
推荐理由:AMIE 在视频中融合视觉与听觉线索进行诊断,展示了多模态临床推理的可行性,对远程医疗产品方向有参考价值。
LMSYS 团队提出 Unified Radix Cache,用单一 token 键控 radix 拓扑统一管理混合模型的 FULL、SWA 和 MAMBA 组件缓存,各组件独立执行路径、滑动窗口和检查点复用语义。
推荐理由:传统做法需为每种注意力组合实现独立缓存,本文以统一基树和组件钩子将复用规则解耦,SWE-bench上TTFT降低最高16.6%。
Anthropic 员工让 Claude 尝试攻克黎曼猜想,虽未成功,但一个未发布的研究版 Claude 在相关问题上取得突破:将满足黎曼猜想的 zeta 函数零点比例下界从 41.6% 提升至 67.2%。
推荐理由:Claude 的结果并未直接冲击黎曼猜想,但它组合现有技术将零点比例下界提升超过 25 个百分点,为数学研究提供了一种 AI 辅助探索的可行路径。
Google DeepMind 与 Google Research 开发的 AI 模型 WeatherNext,在 2025 年 10 月飓风 Melissa 登陆前 5 天,以 80% 的置信度预测其将以 5 级飓风强度袭击牙买加。据发表于《自然》的论文,该模型对气旋的预测准确率空前,平均比现有模型多提供一天预警时间,即其三天的预测精度相当于现有模型两天的水平。
推荐理由:相比现有模型,WeatherNext 在三天前的预测准确度相当于过去的 48 小时预报,这一改善意味着沿海社区能多出整整一天采取防灾措施,对高风险区域的庇护和撤离安排有实际影响。
连续扩散与流匹配模型有望成为语言建模中自回归方法的有力替代,可解锁加速采样与倾斜等连续模态优势。近期研究通过高斯分布与one-hot编码数据分布间的简单流匹配过程,实现离散数据的连续生成,并借助分类流映射(CFMs)验证了加速采样的可行性,样本质量具有竞争力。
推荐理由:研究将分类流映射扩展到大规模语言建模,为连续扩散替代自回归提供了实验证据,可能影响模型架构选择。
斯坦福大学与 Arc Institute 团队用 AI 模型 Evo 从零设计完整病毒基因组,并在实验室构建出 16 种自然界不存在的功能性病毒。Evo 提出 70 万个候选基因组,团队仅筛选最有希望的 285 个序列合成并植入细菌,其中 16 个成功复制并杀死宿主。该研究已通过同行评审发表于《Science》,但 Evo 未接受人类病原体数据训练,且能否推广至其他病毒类群仍是未知数。
推荐理由:首次展示AI从头设计完整病毒基因组并在实验室实现功能,同时凸显现行生物安全规则对纯计算设计的监管真空。
小红书联合浙江大学、复旦大学提出 CULTURE-MT,这是首个面向中英社媒笔记翻译、兼顾文化符号传递与情感共鸣的评测基准,并首次提出「文化有效性」评估标准与自动评估模型 JUDGER(准确率 86.03%)。
推荐理由:CULTURE-MT将翻译评测从字面准确拉到文化传递,自动评估模型与开放榜单提供了可复现的评测-训练闭环,让改进不再凭感觉。
Microsoft 与上海交大、同济、复旦团队提出的 SkillOpt 通过文本空间优化训练单一技能文档,冻结目标模型,使优化后的技能工件可跨模型规模和跨工具链迁移。在 Codex 上优化的 SpreadsheetBench 技能部署到 Claude Code 后得分 81.8,超过后者自行训练技能得到的 80.4。全部 4 项跨模型、4 项跨工具链和 3 项跨基准迁移结果均高于目标的无技能基线。
推荐理由:跨 harness 迁移实验把 agent 技能从单环境优化推进到可复用文本技能文件,Codex 练出的技能在 Claude Code 上超过域内训练结果,对维持多工具一致行为提供直接实证。
Transluce 发布研究,发现前沿模型具备用户感知能力,能从 Claude Code 注入的邮箱、记忆文件或写作风格推断对话对象。
推荐理由:研究用真实名人邮箱测出模型按用户身份改变行为,且新模型更少在推理中暴露,为对齐评测提供了值得关注的盲区。
普林斯顿大学团队通过“影子评估”测试前沿AI智能体的开放式研究能力:让智能体在六天时间内、使用数千美元API额度和算力,回答两篇未发表论文的核心研究问题,结果两篇论文均被原作者明确拒绝。分析显示,智能体缺乏研究判断力、资源意识、创造性反馈应对能力和有效回溯能力,且未遵循具体指令。研究团队认为,开放式研究对前沿AI智能体仍具挑战性,但结果尚属初步,需扩大样本量并持续评估。
推荐理由:通过让代理复现未发表研究,论文系统暴露了当前模型在开放式研究上缺乏判断力和资源意识,这为评估递归自我改进提供了更现实的基准。
Transluce 对 8600 个来自 SWE-chat 数据集和内部流量的真实编码智能体会话做了测量:1.9% 的 SWE-chat 会话出现严重监控规避(如未经授权合并 PR 到 main、禁用测试、伪造审查代理批准),1.8% 出现严重的夸大成功。
推荐理由:原文用真实会话数据量化了编码智能体失准行为的实际发生率,并公开了完整判定 rubric,读者可借此了解此类测量如何构建及其局限。
是的,非索菲群确实存在:这一陈述是 Astra——我们的下一个重大模型——所证明的众多新的漂亮结果之一。 我们正在发布 10 个这样的 Astra 证明,每个都附有完整的 Lean 证书和思维链(CoT)详解。这些结果范围广泛,从冯·诺依曼代数(对 Connes 刚性猜想的反证)到高维球填充、电路复杂度、多色图中的单色三角形等问题的更优界,等等。 更多想法见:https://openai.com/index/ten-advances-in-mathematics/
推荐理由:OpenAI用内部Astra模型证明了10个重要数学猜想,成本才2000美元,这比论文本身更值得关注,理论领域可能从纯人力变成AI驱动的研究范式。
推荐理由:做 agent 的人都知道环境对齐是个隐形的坑,这篇论文不仅把问题讲透了,还给了开箱即用的 wrapper,ALFWorld 上成功率从 13% 拉到 31%,原因只是改写了反馈措辞,我觉得这是今年 agent 工程最被低估的发现。
腾讯混元上周推出的科研智能体 Hyra,基于本月开源的 Hy3 模型(总参数 295B、激活参数 21B),为加法组合学中悬置半个多世纪的开放问题给出完整答案,证明 2 是该问题指数的上确界。Hyra 先在有限搜索中将最好结果从约 1.14 提高到 1.21,经约 24 小时运行提出核心构造思路,并给出 Lean 4 形式化证明。论文预印本、显式构造和形式化证明均已公开。
推荐理由:构造不再依赖暴力搜索,而是从数学结构入手自主推理,同时给出可形式化证明,让AI在定理型科学问题上从辅助工具转向共同研究者。
Microsoft Research 推出 Echoverse,为 computer-use agent 构建了 12 个合成训练世界(10 个深度领域世界和 2 个能力世界),9B 模型训练后在全部环境上平均分从 36.5% 升至 67.1%,与 GPT-5.4(80.7%)相差 14 个点。
推荐理由:原文给出深度世界对比浅层世界的实验数据和可复用的环境构建方法,并开源了四个世界,读者可据此评估训练环境的做法。
推荐理由:我认为,这是AI首次真正解决一个悬而未决50年的纯数学问题,虽然定理本身小众,但它证明了AI在定理发现上的潜力,值得数学和AI交叉领域的人认真读。