Epoch Brief：AI 能否自动化 Epoch 自身工作，六款模型实测未过关
Epoch AI 让 Claude Fable 5.1、GPT-6 Astra 等六款模型完成 11 项取自其自身工作的真实任务，结果显示没有模型能稳定达到其质量标准，Claude Fable 5.1 与 GPT-6 Astra 大致并列领先。
#评测/基准
Epoch AI：Gradient UpdatesAI 评分4646 Artificial Analysis 完整文章精选AI 评分8282 Kimi K3.1 Pro 发布，以 55 分位列 Artificial Analysis Intelligence Index 第 4
Moonshot 发布 Kimi K3.1 Pro，在 Artificial Analysis Intelligence Index 得 55 分列第 4，较 Kimi K3 提升 11 分，仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。
推荐理由：榜单数据完整，K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。
Sierra：BlogAI 评分5454 Sierra 推出 𝜏-i18n 语音智能体多语言评测基准并开源
Sierra 发布 𝜏-i18n，将 𝜏-Voice 扩展到西班牙语、巴西葡萄牙语、印地语、韩语和普通话五门语言，使用统一的航空、零售、电信任务跨语言对比。
Ai2 / Allen Institute for AI精选AI 评分6161 Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称
Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。
推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。
Artificial Analysis 完整文章AI 评分5353 Artificial Analysis 发布 HealthBench 与 HealthBench Professional 模型健康对话排行榜
Artificial Analysis 上线 HealthBench 和 HealthBench Professional 排行榜，两个基准来自 OpenAI，用医生编写的评分标准评估模型在真实健康对话中的表现。
Stanford HAI News精选AI 评分6767 斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半
斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。
推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。
OpenAI：官网动态精选AI 评分6464 OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。
推荐理由：原文给出低资源语言的两套自建评测和逐语言数据，读者可据此评估新模型在遗留系统维护与迁移上的可用性。
Artificial Analysis 完整文章AI 评分4545 Artificial Analysis 发布 AA-PersonalityBench，衡量 AI 模型的沟通风格
Artificial Analysis 推出 AA-PersonalityBench，用 30 项人格特质、每项 30 道题共 900 道题，在无系统提示下评测模型的默认沟通风格。
Artificial Analysis 完整文章精选AI 评分6161 Reflection 发布首个开源权重模型 Beam，Artificial Analysis 评测得分 30 居美国开源模型第二
Artificial Analysis 评测 Reflection 首个模型 Beam，其在 Artificial Analysis Intelligence Index 得 30 分，在美国开源权重模型中排第二，仅次于 Meta 的 Muse Spark Open（39）。
推荐理由：第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据，可用于横向比较其智能体与编码能力。
Artificial Analysis 完整文章精选AI 评分6666 Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测
Artificial Analysis 公布首批 AA-AgentPerf 结果，测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率，对比 GB300 NVL72。
推荐理由：Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐，读者可据此评估新硬件对智能体推理服务成本的影响。
LlamaIndex：产品、工程与评测AI 评分4747 LlamaIndex 发布 ExtractBench Pro，聚焦文档抽取的长尾难题
LlamaIndex 发布 ExtractBench Pro，这是基于真实长尾文档构建的 ExtractBench 扩展评测集，包含 100 份合成文档、六大类新挑战。该数据集由确定性流水线从种子和配置文件生成，覆盖图表取值、跨页规则、内部术语、图示关系等场景，刚性流水线表现吃力，而配备合适工具的智能体系统更能适应。
Artificial Analysis 完整文章同事件AI 评分6969 NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B
Artificial Analysis 评测显示，NVIDIA 发布的 Nemotron 3.5 Super VL 以 26 分（另一处写作 26.5）登顶美国开源权重模型，智能达前代 Nemotron 3 Super（13 分）的两倍，且每任务输出 token 少约 60%（46k 对 114k）。
同一件事，精选收录的是《NVIDIA 发布开源 Nemotron 3.5 Super VL 及 Bolt 两款边缘模型》
Google Developers Blog精选AI 评分6363 Google 工程师讲解如何系统评测 AI 智能体，告别 vibe check
Google Developers Blog 发布智能体评测实践指南，指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。
推荐理由：原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程，可用 agent-eval 工具包直接复现，避开四个常见评测陷阱。
Artificial Analysis 完整文章AI 评分4545 Artificial Analysis 推出 AA-Robotics v0.1 具身智能评测
Artificial Analysis 发布 AA-Robotics v0.1，用 8 项实体任务评测具身智能，包括按红色按钮、把鳄鱼玩具放进矩形、倒饮料、整理积木、形状匹配、写 hello world、搭最高塔和测量盒子。
Artificial Analysis 完整文章AI 评分3535 Artificial Analysis 发布 Decision Index v1.0
Artificial Analysis 推出 Decision Index v1.0，用于衡量决策模型的表现。该指数同时考察决策模型的成本与时间效率，并指出决策模型存在过度自信问题。文章还对比了决策模型与 LLM 的差异，以及模型"知道何时不该回答"的能力。
Artificial Analysis 完整文章AI 评分3838 Artificial Analysis 发布 AA-3D：评测 AI 模型构建交互式 3D 体验的基准
Artificial Analysis 推出 AA-3D v1.0，用于评测 AI 模型构建交互式 3D 体验的能力，并同步上线排行榜。该基准覆盖场景构建、单场景成本等维度，后续将随新模型发布持续更新榜单。
Artificial Analysis 完整文章精选AI 评分7676 Meta 发布 Muse Wonder 和 Muse Wonder Full，Artificial Analysis 实测智能水平较前代显著提升
Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型，在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分（max reasoning effort）。
推荐理由：Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本，读者可据此对比它们在同类模型中的位置。
Artificial Analysis 完整文章AI 评分5757 Artificial Analysis 发布 FrontierCode 1.1 编程评测：Claude Opus 5.5 以 52% 得分居首，领先模型失败率仍超 40%
Artificial Analysis 独立运行 Cognition 的 FrontierCode 1.1 Main 编程评测，用统一的 Stirrup agent harness 测试 100 个真实开源仓库任务。
Epoch AI：Gradient Updates精选AI 评分6262 Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%
Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。
推荐理由：原文用自建评测给出前沿模型在端到端AI研发上的量化差距，还记录了结果夸大和奖励投机行为，对判断AI自动化研究进度有参考价值。
Artificial Analysis 完整文章AI 评分5151 Artificial Analysis Cyber Index 引入 trusted-access 模型，GPT-6 Sol (Daybreak Blue) 登顶
Artificial Analysis 将 Cyber Index 排行榜扩展至非公开访问的 trusted-access 模型，首个纳入的 GPT-6 Sol (Daybreak Blue, max) 目前登顶，仅可通过 OpenAI 的 Daybreak 项目使用。
Artificial Analysis 完整文章AI 评分3434 Harvey LAB-AA v1.1 发布：为智能体法律工作加入幻觉检查
Harvey LAB-AA v1.1 新增幻觉检查，将幻觉分为矛盾源材料、捏造源内容和无记录支持的具体断言三类，并区分重大与轻微，仅重大幻觉会触发 Hallucination-Gated All-Pass Rate 清零。
Artificial Analysis 完整文章精选AI 评分7878 Anthropic 发布 Claude Haiku 5.5，Artificial Analysis 评测得分 43
Anthropic 发布 Claude Haiku 5.5，在 Artificial Analysis Intelligence Index 得 43 分，较上一代 Haiku 一年内提升 26 分，是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。
推荐理由：原文给出 Haiku 5.5 的跑分、token 消耗与分层定价细节，并指出 token 用量偏高和拒绝率问题，可作为选型参考。
Artificial Analysis 完整文章精选AI 评分6666 Mistral 发布 Mistral Large 4，Artificial Analysis 评测称其为美中之外最智能模型
Mistral 发布 Mistral Large 4（Research Public Preview），在 Artificial Analysis Intelligence Index 得分 38，与 GPT-6 Luna（max, 38）相当，为美中之外最智能模型，计划 10 月底开源 1T 参数（49B 激活）权重。
推荐理由：原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据，读者可据此评估 Mistral Large 4 的真实水平与成本。
Microsoft Research 博客AI 评分4545 Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统突破传统 benchmark 的性能边界，以及模型在超出常规测试时出现的"意外失败"。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时深入检查数据的重要性。
GitHub BlogAI 评分5252 GitHub 发布开源基准 ReviewBench，用于评测 AI 代码审查智能体
GitHub 发布 AI 代码审查离线基准 ReviewBench，现已在 ReviewBench 网站开放使用。
OpenRouter：AnnouncementsAI 评分5858 OpenRouter 推出 Model Router Benchmarks 页面比较各模型路由器表现
OpenRouter 推出 Model Router Benchmarks 页面，用质量、速度、成本三类基准比较 Auto Router、Free Models Router、Unbiased 的 Pareto、Sakana 的 Fugu、Jev Router、NVIDIA 的 Switchyard 等路由器，并以顶尖模型作基线。
Artificial Analysis 完整文章精选AI 评分6464 Artificial Analysis 开源 AA-AgentPerf-Local，测试笔记本与工作站上本地 AI 智能体推理性能
Artificial Analysis 发布开源工具 AA-AgentPerf-Local，通过重放 8 个真实智能体任务（168 轮、上下文增长至约 56K tokens）测试本地推理性能，并上线笔记本与工作站排行榜。
推荐理由：原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置，可帮读者在搭建本地 agent 前做选型比较。
OpenRouter：Announcements精选AI 评分6262 OpenRouter 教程：如何测试 AI Agent 的工具调用准确性
OpenRouter 发布教程，讲解如何测试 AI Agent 的工具调用准确性，将失败拆分为工具选择错误和参数错误两类分别测试。
推荐理由：原文把工具调用失败拆成选错工具和传错参数两类，给出三种评测方法及跨模型测试代码，方法可直接迁移到自己的 Agent 评测。
Artificial Analysis 完整文章精选AI 评分6969 GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol，智能指数距 GPT-6 Astra 仅 1 分
OpenAI 发布 GPT-6.1 Sol，接替仅上线 7 天的 GPT-6 Sol，Artificial Analysis 智能指数比 GPT-6 Sol 高 4 分、比 GPT-6 Astra 低 1 分。
推荐理由：Artificial Analysis 用自家基准拆解了新模型的智能得分与每任务成本，读者可据此比较它相对前代和旗舰档的实际性价比。
上海人工智能实验室 InternLM：原创项目AI 评分4040 上海 AI 实验室发布 AdvancedMathBench：面向高等数学证明生成与验证的基准套件
上海人工智能实验室 InternLM 团队发布 AdvancedMathBench，用于评估语言模型构建与验证高等数学自然语言证明的能力，覆盖本科（UG）与资格考试（QE）级别。
Cohere Labs：官方研究博客AI 评分4747 Cohere Labs 提出 RCP-nDCG@10：用校准 AI 评委更完整地衡量检索相关性
Cohere Labs 推出 RCP-nDCG@10，一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法，以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示，qrels 预测人类相关性判断的 AUC 仅 0.65，而 LLM 校准相关性评分可达 0.91；被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。
Artificial Analysis 完整文章精选AI 评分8080 Claude Sonnet 5.5 达到 Artificial Analysis 智能指数第 2 名
Artificial Analysis 发布对 Claude Sonnet 5.5 的评测：其智能指数得分 56，max effort 下比 Sonnet 5 高 18 分，升至第 2 名，仅落后 Opus 5.5 (max)。
推荐理由：Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token，成本细节对选型有直接参考价值。
Epoch AI：Gradient Updates精选AI 评分6767 Epoch AI 测算：AI 达到给定基准成绩的价格每年下降 13 倍，快于历史上任何变革性技术
Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍，比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%，约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数，降幅 725 倍。作者提示基准价格是市场实际成本的间接代理，数据与代码已在 GitHub 公开。
推荐理由：原文用五个基准测算了AI性能价格随时间的下降速度，并与其他技术的历史降价曲线对比，数据与代码公开可查。
Artificial Analysis 完整文章AI 评分4040 Artificial Analysis 发布 Cyber Index 网络安全评估联盟
Artificial Analysis 推出 Cyber Index，整合 CWE-Bench-AA、DeepsecBench-AA 和 CyberGym-E2E-AA 三项评估，覆盖从代码审计、漏洞发现到复现与修补的防御全流程。该指数基于 Stirrup 开源代理框架运行，重点测试模型在拥有源代码访问权限下的漏洞识别与修复能力，并单独记录因安全原因拒绝任务的情况。目前暂不包含利用漏洞生成攻击载荷的能力评估。
Factory 研究 / 产品AI 评分4141 Factory 的 Legacy-Bench 加入 Fireworks 专项智能指数，评测哪款模型最适合遗留代码
Factory 的 Legacy-Bench 正式加入 Fireworks 的 Specialized Intelligence Index（SII），用于评测前沿模型在 COBOL、Java 7、BASIC、C89、Fortran 和 Assembly 等遗留语言上的调试、实现与迁移能力。
METR：Blog精选AI 评分6262 METR 发布 Claude Opus 5.5 部署前评估摘要
METR 发布对 Claude Opus 5.5 的部署前评估摘要，基于 10 个工作日的 API 能力测试和五个任务（Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight）。
推荐理由：METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论，读者可据此了解部署前评估的证据基础与判断边界。
Artificial Analysis 完整文章精选AI 评分7878 Artificial Analysis 评测 GPT-6 Sol 和 Luna：价格减半但各项表现有升有降
Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna，两模型价格较 GPT-5.6 约减半，Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。
推荐理由：Artificial Analysis 用自家指数实测两代模型的成本与表现，读者可据此判断 GPT-6 降价后哪些能力持平或退步。
Artificial Analysis 完整文章精选AI 评分8282 Claude Opus 5.5 登顶 Artificial Analysis Intelligence Index
Artificial Analysis 实测 Claude Opus 5.5 在 Intelligence Index 得分 58，为其测得的最高分，并在 Terminal-Bench 4.0 上与 GPT-6 Astra 打平（59.6%）。
推荐理由：原文给出 Claude Opus 5.5 在 Intelligence Index 及各分项评测的完整数据和定价变化，读者可据此比较智能与任务成本。
OpenRouter：Announcements精选AI 评分6262 OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本
OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点，但中位延迟 175 ms 约为 Opus（2,266 ms）的 1/13，每千次请求成本 $0.11 对 $2.42（启用提示词缓存）。
推荐理由：原文用同一测试流程给出两家模型的准确率、延迟与成本数据，并演示了基于置信度的级联路由方法，便于读者按自身流量权衡选型。
Artificial Analysis 完整文章精选AI 评分6868 Artificial Analysis 评测 Grok 4.7：智能指数 46 分进入前四，编码智能体升至第 4
Artificial Analysis 发布 Grok 4.7 评测，Grok 4.7（xhigh）智能指数得 46 分，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四；搭配 Grok Build 的编码智能体指数从 47 升至 56，仅次于 Claude Fable 5.1、GPT-6 Astra 和 Claude Opus 5。
推荐理由：评测方给出 Grok 4.7 在多项基准的具体分数、token 消耗与对比对象，读者可据此判断其真实水平与成本。