跳到正文
  1. Artificial Analysis 完整文章82

    Kimi K3.1 Pro 发布,以 55 分位列 Artificial Analysis Intelligence Index 第 4

    Moonshot 发布 Kimi K3.1 Pro,在 Artificial Analysis Intelligence Index 得 55 分列第 4,较 Kimi K3 提升 11 分,仅低于 Claude Opus 5.5、Claude Sonnet 5.5 和 Muse Wonder Full。

    推荐理由:榜单数据完整,K3.1 Pro 的智能体成绩、参数规模和价格变化都有具体数字可查。

  1. Ai2 / Allen Institute for AI61

    Ai2 发布 FairStress 基准:测量 LLM 决策中被隐藏的公平性不对称

    Ai2 发布 FairStress 基准,通过 300 个两候选决策场景和对抗前缀,测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同,全部组合超过 1300 万测试用例,并已开放下载、集成进 Olmo-eval。

    推荐理由:Ai2 用对抗前缀测出模型在人口群体之间的决策不对称,并发现多数去偏方法不可靠,提供了诊断与改进思路。

  1. Stanford HAI News67

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench,测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。

    推荐理由:斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。

  1. Artificial Analysis 完整文章61

    Reflection 发布首个开源权重模型 Beam,Artificial Analysis 评测得分 30 居美国开源模型第二

    Artificial Analysis 评测 Reflection 首个模型 Beam,其在 Artificial Analysis Intelligence Index 得 30 分,在美国开源权重模型中排第二,仅次于 Meta 的 Muse Spark Open(39)。

    推荐理由:第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据,可用于横向比较其智能体与编码能力。

  2. Artificial Analysis 完整文章66

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测

    Artificial Analysis 公布首批 AA-AgentPerf 结果,测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率,对比 GB300 NVL72。

    推荐理由:Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐,读者可据此评估新硬件对智能体推理服务成本的影响。

  1. Artificial Analysis 完整文章69

    NVIDIA 发布 Nemotron 3.5 Super VL 与 Nemotron 3.5 Bolt 74B-A9B

    Artificial Analysis 评测显示,NVIDIA 发布的 Nemotron 3.5 Super VL 以 26 分(另一处写作 26.5)登顶美国开源权重模型,智能达前代 Nemotron 3 Super(13 分)的两倍,且每任务输出 token 少约 60%(46k 对 114k)。

    推荐理由:原文给出独立评测的智能指数得分、token 效率和输出速度对比,可据此评估 NVIDIA 两款开源权重模型的实际定位。

  2. Google Developers Blog63

    Google 工程师讲解如何系统评测 AI 智能体,告别 vibe check

    Google Developers Blog 发布智能体评测实践指南,指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。

    推荐理由:原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程,可用 agent-eval 工具包直接复现,避开四个常见评测陷阱。

  1. Epoch AI:Gradient Updates62

    Epoch AI 发布 InnovationEval 评测:前沿模型仅达到人类论文 SDPO 增益的 15%

    Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。

    推荐理由:原文用自建评测给出前沿模型在端到端AI研发上的量化差距,还记录了结果夸大和奖励投机行为,对判断AI自动化研究进度有参考价值。

  1. Artificial Analysis 完整文章78

    Anthropic 发布 Claude Haiku 5.5,Artificial Analysis 评测得分 43

    Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis Intelligence Index 得 43 分,较上一代 Haiku 一年内提升 26 分,是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。

    推荐理由:原文给出 Haiku 5.5 的跑分、token 消耗与分层定价细节,并指出 token 用量偏高和拒绝率问题,可作为选型参考。

  1. Artificial Analysis 完整文章66

    Mistral 发布 Mistral Large 4,Artificial Analysis 评测称其为美中之外最智能模型

    Mistral 发布 Mistral Large 4(Research Public Preview),在 Artificial Analysis Intelligence Index 得分 38,与 GPT-6 Luna(max, 38)相当,为美中之外最智能模型,计划 10 月底开源 1T 参数(49B 激活)权重。

    推荐理由:原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据,读者可据此评估 Mistral Large 4 的真实水平与成本。

  1. Artificial Analysis 完整文章64

    Artificial Analysis 开源 AA-AgentPerf-Local,测试笔记本与工作站上本地 AI 智能体推理性能

    Artificial Analysis 发布开源工具 AA-AgentPerf-Local,通过重放 8 个真实智能体任务(168 轮、上下文增长至约 56K tokens)测试本地推理性能,并上线笔记本与工作站排行榜。

    推荐理由:原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置,可帮读者在搭建本地 agent 前做选型比较。

  2. OpenRouter:Announcements62

    OpenRouter 教程:如何测试 AI Agent 的工具调用准确性

    OpenRouter 发布教程,讲解如何测试 AI Agent 的工具调用准确性,将失败拆分为工具选择错误和参数错误两类分别测试。

    推荐理由:原文把工具调用失败拆成选错工具和传错参数两类,给出三种评测方法及跨模型测试代码,方法可直接迁移到自己的 Agent 评测。

  3. Artificial Analysis 完整文章69

    GPT-6.1 Sol 发布 7 天后接替 GPT-6 Sol,智能指数距 GPT-6 Astra 仅 1 分

    OpenAI 发布 GPT-6.1 Sol,接替仅上线 7 天的 GPT-6 Sol,Artificial Analysis 智能指数比 GPT-6 Sol 高 4 分、比 GPT-6 Astra 低 1 分。

    推荐理由:Artificial Analysis 用自家基准拆解了新模型的智能得分与每任务成本,读者可据此比较它相对前代和旗舰档的实际性价比。

  1. Artificial Analysis 完整文章80

    Claude Sonnet 5.5 达到 Artificial Analysis 智能指数第 2 名

    Artificial Analysis 发布对 Claude Sonnet 5.5 的评测:其智能指数得分 56,max effort 下比 Sonnet 5 高 18 分,升至第 2 名,仅落后 Opus 5.5 (max)。

    推荐理由:Artificial Analysis 实测指出 Sonnet 5.5 逼近 Opus 5.5 依赖约 193k 输出 token,成本细节对选型有直接参考价值。

  1. Epoch AI:Gradient Updates67

    Epoch AI 测算:AI 达到给定基准成绩的价格每年下降 13 倍,快于历史上任何变革性技术

    Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍,比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%,约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数,降幅 725 倍。作者提示基准价格是市场实际成本的间接代理,数据与代码已在 GitHub 公开。

    推荐理由:原文用五个基准测算了AI性能价格随时间的下降速度,并与其他技术的历史降价曲线对比,数据与代码公开可查。

  1. METR:Blog62

    METR 发布 Claude Opus 5.5 部署前评估摘要

    METR 发布对 Claude Opus 5.5 的部署前评估摘要,基于 10 个工作日的 API 能力测试和五个任务(Budget NanoGPT Speedrun、LMCA、Train a Program、Gaming Bot、Sunlight)。

    推荐理由:METR 作为第三方评估方给出了 Claude Opus 5.5 在 AI 研发加速上的量化结论,读者可据此了解部署前评估的证据基础与判断边界。

  2. Artificial Analysis 完整文章78

    Artificial Analysis 评测 GPT-6 Sol 和 Luna:价格减半但各项表现有升有降

    Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna,两模型价格较 GPT-5.6 约减半,Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。

    推荐理由:Artificial Analysis 用自家指数实测两代模型的成本与表现,读者可据此判断 GPT-6 降价后哪些能力持平或退步。

  3. OpenRouter:Announcements62

    OpenRouter 实测 Jev 1.13 与 Claude Opus 5 在 Banking77 分类任务上的准确率、延迟与成本

    OpenRouter 用 Banking77 测试集的 3,080 条客服语料对比 Jev 1.13 与 Claude Opus 5 的意图分类表现。Jev 准确率 81.0% 比 Opus 的 84.4% 低 3.3 个百分点,但中位延迟 175 ms 约为 Opus(2,266 ms)的 1/13,每千次请求成本 $0.11 对 $2.42(启用提示词缓存)。

    推荐理由:原文用同一测试流程给出两家模型的准确率、延迟与成本数据,并演示了基于置信度的级联路由方法,便于读者按自身流量权衡选型。