#评测/基准

Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check

Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。

OpenRouter 教程：如何测试 AI Agent 的工具调用准确性

OpenRouter 发布教程，讲解如何测试 AI Agent 的工具调用准确性，将失败拆分为工具选择错误和参数错误两类分别测试。

METR 发布 Claude Opus 5.5 部署前评估摘要

METR 发布对 Claude Opus 5.5 的部署前评估摘要，基于 10 个工作日的 API 能力测试和五个任务（Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight）。

Artificial Analysis@ArtificialAnlys· 02:21精选AI 评分7171

Artificial Analysis 发文指出，GPT-6 Sol 和 Luna 在 Intelligence Index 中得分与各自前代相近，但 token 定价下降约 50%，将单任务成本减半。其图表展示了各代 OpenAI 模型在智能与单任务成本之间的权衡曲线。

OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。

Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index

Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58，为其测得的最高分，并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平（59.6%）。

卡兹克实测对比 Grok 4.7 与小米 MiMo V2.6：后者成不可能三角版本答案

作者实测同日凌晨发布的 Grok 4.7 与小米 MiMo V2.6，认为 Grok 4.7 低于预期，MiMo V2.6 成为性能、价格、速度三角的当前版本答案。

Artificial Analysis@ArtificialAnlys· 09:51精选AI 评分6565

Artificial Analysis 评测阶跃星辰 Step 5 Preview，其在 Artificial Analysis Intelligence Index 得 44 分，与 Kimi K3 (max) 持平，略低于 GLM-5.3 (max) 和 Qwen3.8 Max 的 45 分，每任务成本约 $0.72，约为同级模型（约 $2.00）的 1/2.8。

Artificial Analysis 评测 Grok 4.7：智能指数 46 分进入前四，编码智能体升至第 4

Artificial Analysis 发布 Grok 4.7 评测，Grok 4.7（xhigh）智能指数得 46 分，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四；搭配 Grok Build 的编码智能体指数从 47 升至 56，仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。

OpenRouter 实测 20 个图像生成模型的成本、编辑与质量

OpenRouter 对其路由的 20 个图像生成模型用相同提示词实测计费，单张图片成本在 $0.006 到 $0.134 之间，相差 22 倍。

TypeSafe AI 发布只做高频决策的大模型 Jev，作者实测其分类判断性价比

TypeSafe AI 推出专注高频决策的大模型 Jev，不做对话和文字生成，只输出判断，速度比传统大模型快20～200倍，成本0.042美元/百万Token且输出Token免费。作者实测预筛任务中Jev准确性第二且更便宜，在并行判断任务上达到最高准确率和最快速度；模型采用RLCD训练方法优化决策校准，可在官网 https://typesafe.ai/ 申请资格，Vercel 已首发接入。

Arena.ai@arena· 05:21精选AI 评分6969

Arena 更新 Image-to-WebDev 排行榜，纳入四个新评测模型。GPT-6 Astra (Max) 以 1733 分居第一，领先 GPT-5.6 Sol (xHigh) 129 分；Claude Fable 5.1 (Max) 以 1710 分排第二，Muse Spark 1.3 (Max) 1645 分第四，GLM-5.3-Flash 1588 分第十。

Artificial Analysis@ArtificialAnlys· 11:21精选AI 评分6666

Artificial Analysis 发布 Speech to Speech Index，OpenAI 的 GPT-Live-1 以 81.5 分（Astra 后端，medium 推理强度）排名第一，超过 Grok Voice Think Fast 2.0 High 的 81.3；Sol 后端配置得 80.1 排第三。

GPT-5.6 Luna 对比 GPT-6 Astra：$1.20 的模型做代码评审够用吗

Entelligence 在 50 个公开基准 PR 上用相同提示词对比 GPT-5.6 Luna 和 GPT-6 Astra 的代码评审能力，Luna 找到 69 个经验证 bug（Astra 92 个），总成本 $0.20 对 $5.66，精度 74% 对 96%。

OpenRouter 评测 Seedance 2.5：长镜头与已有素材编辑的场景及成本解析

OpenRouter 发布对 ByteDance Seedance 2.5 视频模型的评测，该模型自 2026 年 8 月 7 日上线其视频 API，生成 4 到 30 秒、480p 或 720p 的片段，支持图像、视频、音频引用和首尾帧控制，音频同趟生成不加价。

实测GPT-6 Astra：速度、前端与代码能力对比GPT-5.6 Sol的全面升级

GPT-6 Astra正式向所有订阅用户推送，作者实测后认为其综合能力追平Claude Fable 5，且额度100%可用。相比GPT-5.6 Sol，速度明显提升，大型系统审查从数小时缩短到约10分钟，代码扫描找出大量此前未发现的性能问题并2小时完成修复；前端3D生成和审美大幅强化，写作在白描和用词上更好但仍缺中文留白感。

GPT-6 Astra 基准表现分歧，ARC-AGI-3 效率超人类令 Chollet 提前 AGI 预测

GPT-6 Astra 的基准结论相互矛盾：Epoch AI 以 169 分将其排在 267 个模型之首，Artificial Analysis 给出 61 分，仅与前代 Sol 持平、落后 Claude Fable 5.1 的 66 分。

Artificial Analysis 实测 Claude Fable 5.1 登顶智能指数但每任务成本高 20%

Artificial Analysis 评测 Claude Fable 5.1，其以 66 分登顶 Artificial Analysis Intelligence Index，超过 Claude Opus 5（63）、Fable 5（62）、GPT-5.6 Sol（61）和 Grok 4.6（61）。

Together AI 实测 GLM-5.3 与 GLM-5.3 Flash 在 DeepSWE 上的成本、编码与级联路由

Together AI 在 DeepSWE v1.1 全部 113 个任务上实测 GLM-5.3 与 GLM-5.3 Flash，各跑 4 次共 900 rollouts。

Trail of Bits 实测 GPT 5.6-Cyber 三次逃逸 QEMU/KVM 虚拟机

Trail of Bits 在 Patch the Planet 项目中获得 GPT 5.6-Cyber 预览权限，让其挑战逃逸 Debian 12 主机上的 QEMU/KVM 虚拟机，结果以三种不同方式成功逃逸。