山东大学研究:花哨的 coding agent harness 更贵但并不能提升成绩
山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。
山东大学研究者让五个模型在 Claude Code、OpenCode 和 mini-SWE-agent 三个 harness 下跑 SWE-bench Verified 任务,发现换 harness 的结果波动与重复运行同一配置相当,成本却最多可达三倍。
Anthropic 的 Frontier Red Team 与 Theorem 合作,让 Claude 将 OSS-Fuzz 测试转化为数学问题并生成约 1.8 亿行证明代码,由独立程序 Rocq 自动核验,几乎无需人工审查。
Anthropic 与 Theorem 合作,用 Claude 将 OSS-Fuzz 模糊测试转化为规格,对 123 个开源库的 239 个入口点证明了任意 64 MB 以下输入不崩溃,生成约 1.8 亿行 Rocq 证明。
推荐理由:Anthropic 用 Claude 对 123 个 OSS-Fuzz 开源库在 RISC-V 汇编层面写 Rocq 证明,读者可以据此了解 LLM 规模化形式化验证的实际流程与局限。
OpenAI 于 10 月 20 日发布研究报告,介绍其增强 GPT-6 Astra 等模型构建和迁移 COBOL、Fortran、Visual Basic 等低资源编程语言的能力,并推出 MultiLangBench(20 种语言从零构建兼容 SQLite 的数据库引擎)和 COBOL 迁移至 C++、Java、Python、Rust 两项评测。
小红书 AllSpark Team 提出 ROSS,让模型重新学习训练中自己生成的 rollout,通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B,该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%,MOPD 均分从 58.40% 提至 62.20%。
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升,并推出两项自建评测。
推荐理由:原文给出低资源语言的两套自建评测和逐语言数据,读者可据此评估新模型在遗留系统维护与迁移上的可用性。
新基准 Taste-Bench 通过 502 个决策分叉问题测量智能体在编码和 AI 研究任务中的长期决策品味,测试了来自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 家族的 14 个模型。
Johann Rehberger 披露 Visual Studio Copilot 与 SQL Server Management Studio 中的远程代码执行漏洞 CVE-2026-103572,根因是利用文件名末尾多加一个点绕过路径校验,写入 .mcp. 或 settings.VisualStudio. 等受保护配置文件,实现任意命令执行。
推荐理由:作者亲述漏洞原理与利用链,读者可学到 Windows 路径规范化缺陷如何绕过 AI 智能体安全检查的可迁移方法。
Cohere Labs 在 ProgramBench 200 个任务上系统测试编码 Agent 团队的设计选择,发现团队优于单个 Agent 但成本高 4 到 7 倍。
推荐理由:Cohere Labs 用受控实验拆解多智能体团队的设计选择,指出只在规划阶段派便宜的 worker 就能以五分之一成本逼近全强模型团队。
Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测,用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。
Harvard 研究者 Fiona Chen 和 James Stratton 基于 Jellyfish 的数据分析发现,AI 编码工具的编码阶段效率提升被生产流程下游瓶颈吸收,企业软件产出和就业未见明显变化。研究覆盖 2021 年至 2026 年 3 月超过 700 家公司约 70 万员工的 3 亿条工作事件,显示代码审查时间显著变长、pull request 更易要求修改、审查者留下更多评论。
我们在一个 11.6 万行的代码库中埋了 70 个 bug。3 次运行中,单个智能体分别找到了 14、15 和 27 个 bug。而一个工作流在 3 次运行中每次都稳定找到 66 个。
Apple 论文《How Much of a Harness Does a Strong Agent Need for Autonomous ML Engineering?
GitHub 发布 AI 代码审查离线基准 ReviewBench,现已在 ReviewBench 网站开放使用。
Apple 研究者提出 RLTL;DR,在每次失败尝试后让策略读取验证器输出并自行写出一条 TL;DR 式反馈,后续 rollout 以历史反馈为条件,并对上下文中的反馈做反向传播以内化"任务→反馈"映射。
EPFL 与 Apple 研究者发表论文,发现在相同时间预算和同一前沿 LLM 骨干下,开源最先进 harness 并不优于最小化 harness 编码智能体的单次会话。通过大规模系统性消融研究,作者认为复杂机制层在编码智能体场景中变得冗余,性能主要由 LLM 骨干驱动,为强模型手工搭建复杂 harness 的投入在当前 MLE 基准上回报很低。
小红书 AllSpark 团队提出 PACT(Policy Aligned Critic Training),通过三个正则条件唯一确定长程 Agent 的信用分配,并用 BCE 回归有界 Value、采用 Actor-Then-Critic 更新顺序改进 Critic 与策略对齐。
Nvidia 研究人员提出 SoL-Pi 系统,用研究 agent 自动优化编码 agent 的控制层(harness),在 EdgeBench 上相比 Codex 节省 50%、相比 Claude Code 节省 54.3% 的 token,性能与原 Pi harness 大致持平。
Factory 的 Legacy-Bench 正式加入 Fireworks 的 Specialized Intelligence Index(SII),用于评测前沿模型在 COBOL、Java 7、BASIC、C89、Fortran 和 Assembly 等遗留语言上的调试、实现与迁移能力。
Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna,两模型价格较 GPT-5.6 约减半,Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。
推荐理由:Artificial Analysis 用自家指数实测两代模型的成本与表现,读者可据此判断 GPT-6 降价后哪些能力持平或退步。
同一件事,精选收录的是《Artificial Analysis 评测 Grok 4.7:智能指数 46 分进入前四,编码智能体升至第 4》
Sierra 与普林斯顿大学推出 τ^τ-bench 基准,把智能体构建模拟成真实客户交付任务,智能体需基于公司记录、客户需求、生产 API、现有代码和预算交付可部署的客服智能体。
Fireworks AI 对 DeepSWE v1.1 的 113 个任务、18 个模型做了分析:逐任务选择最优模型的 oracle 路由达 97.6% 通过率、每任务 $1.88,比最佳单模型 GPT-6 Astra 的 74.1%($6.52)高 23 个百分点且成本不到三分之一;仅用开源权重模型也达 90.3%($1.45)。
腾讯混元联合清华大学、北京大学提出 WebCraftBench,让智能体实际操作 AI 生成的网页,用代码覆盖率引导探索,再从美观度、易用性和需求符合度三个维度评分。
arXiv 论文(arXiv:2609.20804)构建固定执行循环的轻量级 coding harness,在 Nemotron-3(30B/120B/550B)和 Mistral-Medium-3.5-128B 上、于 SWE-Bench Verified 和 Terminal-Bench 2.1 共评测 176 个设置,变化规划、动作空间和上下文管理三个组件。
Anthropic 让 Claude 在不到四周内优化了超过 30 个开源生物分子模型,平均提速约 4 倍、精度损失极小,输出完全一致时也有近 2 倍加速。优化代码全部开源,还推出低内存 Big 模式,可在单张 NVIDIA GPU 节点上对超过 10,000 token 的生物分子系统做准确预测。
推荐理由:Anthropic 公布了完整提速数据、开源代码和比赛入口,读者可以据此评估 AI 优化科学计算代码的实际水平。
智谱(Z.ai)发布技术长文,讲解 GLM-5.3 驱动的 Infra Agent 如何在 100,000 多颗国产 AI 加速器上从零搭建 GLM-5.3-Flash 的生产级推理系统,不到两周将端到端吞吐提升约 3 倍,支撑 1M token 上下文与多模态请求。
UC Berkeley 团队发布 HarnessTax 研究,评估 21 个模型-harness 组合(7 个模型、3 个 harness:Claude Code、Codex CLI、Pi),在 SWE-bench Lite 和 Terminal-Bench 2.0 各 30 个任务上各跑 3 次。