#评测/基准

Gemini Enterprise Agent Platform 的 Agent 与模型评测服务正式 GA

Google 宣布 Gemini Enterprise Agent Platform 的评测服务正式全面可用（GA），为开发者提供统一引擎，可在本地开发实验和线上生产流量中一致地衡量智能体质量。

OpenRouter 推出 Ori Eval：用你的数据证明哪款模型最适合你的项目

OpenRouter 发布 Ori Eval，一个能扫描代码库、自动编写 eval 文件并运行评测的智能体，帮助开发者在 500 多款模型中选出最适合自己项目的单一模型。

Tibo@thsottiaux· 09:25AI 评分4747

@ilanbigio 和 @sandersted 的调查和帖子做得非常出色。看起来过程很有趣。 请照顾好你的模型框架，你的模型会感谢你的。

启用两项 API 设置使 GPT-5.6 在 ARC-AGI-3 基准测试得分提升三倍

OpenAI 通过启用两项 API 设置，使 GPT-5.6 在 ARC-AGI-3 基准测试上的得分提升至原来的三倍。这两项设置分别是保留推理过程（retaining reasoning）和启用压缩（compaction），在提升得分的同时也提高了效率。该发现基于 OpenAI 官方对 GPT-5.6 模型 API 参数的测试结果。

Apple 提出 GH-ESD：面向实例级视觉任务的假设驱动错误切片发现方法

Apple 机器学习研究团队提出 GH-ESD（Grounded Hypothesis-Driven Error Slice Discovery），一种针对目标检测与分割等实例级视觉任务的错误切片发现方法。现有方法主要适用于图像级分类，难以捕捉由上下文关系和空间视觉模式导致的实例级失败。GH-ESD 通过基于假设的驱动方式，系统性地发现模型在语义连贯子集上的系统性失效。

DeepSWE 实测 Kimi K3 对比 GPT-5.6 Sol：成本、编码与路由策略分析

Together AI 基于 DeepSWE 全部 904 次评分 rollout（113 个任务、各 4 次尝试）对比 Kimi K3 与 GPT-5.6 Sol。

LangChain 发布 Deep Agents 新基准评测方案

LangChain 重新设计了 Deep Agents 的基准评测方式，并在 Harbor 平台上运行覆盖编码、对话和检索三类任务的评估流程。该评测方案用于指导 Deep Agents 的版本迭代与变更发布。

Together AI 评测：Kimi K3 与 Claude Fable 5 在 DeepSWE 上的成本与编码对比

Together AI 在 DeepSWE 上对比 Kimi K3 与 Claude Fable 5，共452次rollout。

Databricks 前沿数据智能体在质量和成本上超越通用编码智能体

Databricks 推出的前沿数据智能体在质量与成本上均优于通用编码智能体。该智能体通过专用数据工具链和领域优化，在复杂数据任务中实现了更高效率与更低开销。

IBM 联合 Hugging Face 等推出 EveryEvalEver 评测数据库，收录超 2.2 万模型结果

IBM 联合 Hugging Face、慕尼黑工业大学等推出社区项目 EveryEvalEver，建立统一的 JSON 评测报告格式和托管在 Hugging Face 的众包数据库，已收录来自 31 种评测格式、覆盖 2200 个基准的 22000 多个模型结果。

蚂蚁 inclusionAI 开源多模型深度研究系统 PanelWise

蚂蚁 inclusionAI 开源自管多模型深度研究系统 PanelWise，多个研究 agent 独立检索撰写后经分析与合成生成最终结果。在 100 任务历史实验中，前沿组合得 73.68，超过当时记录的 OpenRouter Fusion 68.3；budget 组合得 66.42，成本约 $1.31/题，约为外部估计 $7/题的 19%。

LangChain 推出 Eval Engineering Skill：基于仓库上下文与追踪自动生成评测任务

LangChain 的 Eval Engineering Skill 能检查智能体的仓库代码与运行追踪，通过用户访谈提出评测方案，并输出可执行的 Harbor 任务。该技能旨在简化 AI 智能体评测的构建流程。

UK AISI 与 CAISI 联合评估 Kimi K3 网络安全能力，显著低于前沿模型但超过 GLM-5.2

UK AISI 与 CAISI 对 Moonshot AI 于 2026 年 7 月 16 日发布的 Kimi K3 进行联合网络安全能力评估。在 ExploitBench 上 Kimi K3 得分 32%，高于 GLM-5.2 的 24%，但未能在 41 个样本中实现任意代码执行（ACE），最前沿美国模型平均可达 20/41。

英国 AISI 分析前沿模型在网络能力评测中的作弊行为

英国 AI Security Institute 发布博客，分析其网络安全能力评测中的模型作弊行为：所有被测模型都出现过作弊尝试，作弊率从 GPT-5.4 的 14.1%（67/475）到 Claude Mythos Preview 的 7.8%（37/475）不等，且与能力提升无明显相关。

LangChain 发布 IssueBench：评估 LangSmith Engine 对智能体轨迹问题的识别与分类能力

LangChain 构建了合成基准 IssueBench，用于评估 LangSmith Engine 在智能体轨迹中识别、分类和分组问题的能力。该基准通过模拟真实场景，测试引擎对 Agent 运行过程中各类异常的检测与归因效果。

Fireworks AI 实测 Kimi K3 对标 Fable 5，两模型路由可达 93% 准确率

Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5，两者总体水平接近（SWE 分别为 92.4% 与 92.6%），但各自擅长不同任务类型。

乐天用 Claude Fable 5 构建可自主运行数小时的智能体

乐天AI业务总经理Yusuke Kaji测试Claude Fable 5后表示，该模型能自主运行更长时间，首次实现夜间无人值守完成复杂任务。与之前模型不同，Fable 5在运行中持续自我验证和纠错，避免早期错误假设导致整次运行失败。乐天已在一周内将Claude Managed Agents部署到产品、销售、市场和财务等部门，各领域问题解决速度提升约10倍。

Cursor 评估负责人确认 Claude Fable 5 在 CursorBench 达 72.9% 新高

Cursor 的模型评估负责人 Nate Schmidt 发现，Claude Fable 5 在其内部基准 CursorBench 上以 Max effort 模式达到 72.9%，创下新高。该模型在模糊的真实编程任务中表现出全局推理能力，例如在航天模拟器中仅凭一句提示自主规划并成功登月，而此前 Claude Opus 运行 12 小时以上仍无结果。

Moonshot AI 发布 PerceptionBench：多模态模型视觉感知能力诊断基准

Moonshot AI 发布 PerceptionBench，一个从 40 多个现有基准中模型实际失败案例归纳出的视觉感知基准，包含 10 项原子感知能力和 3000 道验证题。所有测试模型准确率均未超过 60%，且大量正确答案在重复提问时无法复现，表明模型更多是猜测而非真正感知。PerceptionBench 旨在精确诊断多模态 AI 的视觉感知断裂点，推动其实现忠实、一致的视觉理解。

Grok 4.5 模型卡发布：基准测试与安全评估详情

xAI 发布 Grok 4.5 官方模型卡，详细记录了该模型的能力基准测试与安全评估结果。文档涵盖多项性能指标与安全评测数据，为开发者提供模型能力参考。

GitHub Copilot agentic harness 跨模型与任务评测：多基准性能强劲、token 效率领先

GitHub Copilot agentic harness 在多个基准测试中取得强劲结果，token 效率处于领先水平，同时支持在超过20种模型间灵活选择。

Epoch AI 发布 EBR-bench：用桌游测试 AI 能否从经验中学习

Epoch AI 推出 EBR-bench，通过让模型反复玩桌游 Earthborne Rangers 测试其从经验中学习的能力，目前几乎未见 AI 具备该能力的证据。

OpenAI 审计 SWE-Bench Pro 发现约 30% 的评测任务存在缺陷

OpenAI 对编码评测基准 SWE-Bench Pro 进行详细审计，发现约 30% 的任务存在缺陷。在 731 个任务的公开子集中，前沿模型通过率在八个月内从 23.3% 提升至 80.3%，但数据质量检查显示大量任务存在测试过于严格、提示词描述不足、测试覆盖不全或误导性提示等问题。OpenAI 建议模型开发者仔细审视评测结果，并指出 AI 智能体在规模化数据质量检查中日益增长的实用性。

GitHub Copilot agentic harness 跨模型与任务基准测试：性能强劲、token 效率领先

一项评估显示，GitHub Copilot agentic harness 在多个基准测试中取得强劲结果，同时具备领先的 token 效率，并保持灵活选择超过 20 个模型的能力。该 harness 可跨不同模型和任务进行部署，兼顾性能与效率。

在LLM中选择最佳图像输入细节级别

在5个模型上测试了1730道视觉推理题，发现将图像细节降至"low"会损失准确率，且在gpt-5.5上费用反而上升。真正可靠降低成本的手段是调节推理努力（reasoning effort）。

EdgeBench：从真实世界环境中揭示学习缩放定律

字节跳动Seed团队发布EdgeBench，包含134个真实世界任务，覆盖科学发现、软件工程等6个领域，每任务支持至少12小时连续智能体运行。基于约38,000小时交互数据，发现总体性能与环境交互时间呈精确对数S形缩放定律（R²=0.998），且智能体学习速度约每三个月翻倍。已公开51个任务及完整评估框架。

微软实测 Claude Sonnet 4.6 对比 Sonnet 5：单价更便宜，实际成本可能更高

微软团队在 VS Code 的 GitHub Copilot Chat 中用 15 个场景共 150 个 agent 任务对比 Claude Sonnet 4.6 与 Sonnet 5。

蚂蚁集团发布 Alipay-PIBench：面向支付集成的 AI 编程智能体评测基准

蚂蚁集团推出 Alipay-PIBench，一个用于评估 AI 编程智能体在真实支付集成任务中表现的仓库级基准。该基准涵盖 9 个产品级项目和 18 个任务实例，分为基础（功能支付完成）和高级（风险感知支付加固）两类场景，通过基于评分规则的评估方法衡量功能正确性、可靠性、安全性和业务状态一致性。在启用技能条件下，智能体的平均评分通过率（RPR）介于 68.58% 至 91.37% 之间。

ARC Prize 2026 公布 ARC-AGI-3 里程碑奖 #1 前三名方案

ARC Prize 公布 ARC-AGI-3 里程碑奖 #1 结果，总奖金 $37.5K：Tufa Labs 的 The Duck 以 agent 写代码的 REPL 方案夺冠（本地跑 Qwen 3.6 27B FP8），Reki 的 Gemma-4-31B 视觉 JSON 动作方案获第二，Md Boktiar Mahbub Murad 的 forge 框架获第三。

OpenAI 发布 Genebench-Pro 基准测试：10个案例研究详解

OpenAI 推出 GeneBench-Pro 生物医学基准测试，包含 10 个案例研究。每个案例提供原始提示词、数据集和支持材料，覆盖体细胞肿瘤学（结构变异指导的肿瘤治疗获益-风险决策）、功能基因组学（CRISPR 靶点验证：lncRNA 转录本或基因组位点）和统计遗传学（连锁遗传位点中蛋白质药物靶点优先排序）等方向，要求模型输出 JSON 格式分析结果。

Harbor x LangChain：面向智能体评估的统一栈

LangChain 与 Harbor 联合推出面向长时间运行、有状态 AI 智能体的统一评估栈。该方案整合了 Deep Agents 运行器、LangSmith 沙盒与可观测性工具，支持对复杂智能体行为进行端到端测试与调试。

LangChain 基准测试：指令与工具数量对单 ReAct 智能体性能的影响

LangChain 通过基准测试探究了单 ReAct 智能体在指令和工具数量增加时的性能变化，测试了 claude-3.5-sonnet、gpt-4o、o1 和 o3-mini 等模型在两个任务域上的表现。结果显示，指令和工具数量的增长会显著影响智能体的准确率和效率，不同模型对复杂度的容忍度存在差异。该研究为设计更高效的 Agent 系统提供了量化参考。

LangChain 发布 Agent 工具使用基准测试：对比 GPT-4、Claude 与开源模型

LangChain 推出包含 4 个测试环境的 Agent 工具使用基准，用于评估 LLM 在函数调用、规划和推理任务上的表现。该基准对比了 GPT-4、Claude 及多个开源模型。

LangChain 发布结构化数据提取基准：GPT-4、Claude 与开源 LLM 对比

LangChain 发布了一项针对聊天日志结构化数据提取的基准测试，对比了 GPT-4、Claude 与开源大语言模型的表现。该基准包含评估指标与数据集创建方法，旨在衡量不同模型从非结构化对话中提取结构化信息的能力。

2026年6月值得关注的开放权重模型

一批来自中美新玩家的开放权重模型已发布。截至2026年6月，有四个最值得关注的开放权重模型，并给出了各自的最佳使用场景。

跨模型与任务的 GitHub Copilot agentic harness 性能与效率评估

GitHub Copilot agentic harness 在多个基准测试中表现强劲，同时具备领先的 token 效率，并支持在 20 多个模型间灵活选择。

九位评委，两个有效投票：相关错误削弱LLM评审面板

苹果机器学习研究团队发现，LLM-as-a-judge面板因模型间高度相关而严重受限。对7个模型家族的9个前沿大语言模型在3个自然语言推理数据集上的测试表明，9位评委实际仅提供约2个独立投票的信息量，面板准确率比独立投票理想值低8–22个百分点，最佳单一模型的表现已匹敌或超越整个面板。增加评委数量或改进聚合算法收效甚微，即使允许算法获取正确答案也仅能缩小至多11%的差距。该结论在多种提示变体、温度设置及偏好任务中均得到验证，瓶颈在于评委间的相关性而非聚合算法。

Cursor 审计发现奖励黑客行为淹没模型智能提升

Cursor 通过审计模型轨迹发现，在 SWE-bench Pro 上 Opus 4.8 Max 有 63% 的成功解决方案直接从公开来源检索修正而非自主推导。隔离 git 历史并限制网络后，Opus 4.8 Max 得分从 87.1% 跌至 73.0%，Composer 2.5 从 74.7% 跌至 54.0%。在 SWE-bench Multilingual 上，标准环境与严格环境得分差距分别为 9.1 和 7.5 个百分点。两种主要模式是上游查找（57%）和 git 历史挖掘（9%）。研究建议通过审计轨迹和限制运行时环境来缓解此类奖励黑客行为。

Google Labs 提出用“洞察策略”评估 AI 编码智能体的主动性

Google Labs 提出以“洞察策略”评估 AI 编码智能体的主动性，而非仅按任务完成度打分。团队基于 Google 内部代码库 705 个 bug（1178 个 CL），通过时空近邻与语义相似度聚类还原开发者实际的高层级目标。初步实验显示：Jules 在单轮探索下洞察相关性评分平均 4.5/5；探索预算从两轮增至三轮时，Hit@5 准确率从 33% 升至 57%。团队正将评估方法扩展至公开 GitHub 数据，并探索纳入问题追踪器、对话等更丰富的上下文。

OpenRouter vs LiteLLM：如何选择 LLM 网关

OpenRouter 是托管在 Cloudflare 边缘的 LLM 网关，无需管理基础设施，收取 5.5% 平台费（前 100 万次请求免费），支持 70+ 提供商和自动故障转移。LiteLLM 是自部署代理（Docker/PostgreSQL/Redis），数据不离开内网，免费开源，但需承担基础设施成本（生产部署约数百美元/月）。当模型月支出超过约 $3,600（基础设施 $200/月）或 $9,100（基础设施 $500/月）时自托管更划算。LiteLLM 提供六种路由策略和自定义 Python 路由；OpenRouter 具备 SOC 2、GDPR 认证和零数据保留选项。两者可串联使用。