跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

226 条精选近 30 天 55 条共收录 1,684 条

更新

评测基准的精选

今天10月24日周六第 1–20 条
10月21日周三
  1. fal68

    fal 发布与 Black Forest Labs 合作后训练的视频模型 FLUX 3 Max,在第三方独立人类偏好评测中获 1139 Elo,与 Seedance 2.5 并列图生视频质量第一梯队。该模型约 12 秒生成一段 10 秒 720/768p 视频,未来三周降价 75%,后续还将继续后训练改进。

    引用fal@fal

    隆重推出 FLUX 3 Max,这是 fal Research 与 @bfl_ai 合作推出的最新后训练视频模型。 在独立第三方基准测试中,FLUX 3 Max 在图生视频质量上并列第一,可在约 12 秒内生成一段 10 秒、720/768p 的视频。 在接下来的三周内,FLUX 3 Max 享受 75% 折扣,使其成为同等质量水平下最实惠的前沿视频模型。

    推荐理由:原文给出第三方 Elo 分数和生成速度数据,读者可据此判断该模型在图生视频梯队中的位置。

  2. Ai2 / Allen Institute for AI61

    Ai2 发布 FairStress 基准:测量 LLM 决策中被隐藏的公平性不对称

    Ai2 发布 FairStress 基准,通过 300 个两候选决策场景和对抗前缀,测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同,全部组合超过 1300 万测试用例,并已开放下载、集成进 Olmo-eval。

    推荐理由:Ai2 用对抗前缀测出模型在人口群体之间的决策不对称,并发现多数去偏方法不可靠,提供了诊断与改进思路。

10月20日周二
  1. Stanford HAI News67

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench,测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。

    推荐理由:斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。

  2. Arena.ai74

    Arena 宣布 DeepSeek-V4.1-Flash-20261017 (Max) 成为 Agent Arena 第一开源模型,总排名第 11,基于超 7.5K 真实会话净提升 +5.1%。其中位任务成本 $0.20,约为 GPT-6.1 Sol 提升幅度的 37%、成本的 27%;Confirmed Success 提升 +11.5%,且无 Tool Hallucination 问题。

    引用Arena.ai@arena

    激动人心的消息:@deepseek_ai 的 DeepSeek-V4.1-Flash-20261017 (Max) 现已成为 Code Arena: WebDev 中排名第一的开源模型,以低 10 倍的成本超越 Kimi K3 (Max)! 亮点: - 排名第一的开源模型,领先于 Kimi K3 (Max) - 以 1670 分位列总榜第 12,领先于 Claude Opus 5 (High),与 GPT-6 Sol (Max) 相差约 10 分以内 - 以每百万输入/输出 token $0.3/$1.2 的价格推动帕累托前沿移动 - 相比上一版 DeepSeek-V4.1-Flash-20260910 提升 52 分 祝贺 @deepseek_ai 团队为开源生态又做出了一项强有力的贡献!

    推荐理由:Arena 用 7.5K 真实会话的数据说明该模型以约 27% 的成本拿下开源第一,读者可据此权衡 Agent 场景的性价比。

  3. Arena.ai65

    Arena 宣布 Meta 的 Muse Wonder Full (Max) 首次进入 Code Arena: WebDev 榜单,以 1726 分排名第 6,使 Meta 成为第 3 实验室,此前该位置由 Google 持有。

    引用Arena.ai@arena

    由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena:WebDev 以 1651 分位列第 15,Text Arena 以 1513 分位列第 2! 在 Code Arena:WebDev 中,Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max),与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内,并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比,Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本!

    推荐理由:榜单方公布了 Meta 新模型在 Code Arena WebDev 的首秀成绩和分项排名,读者可以据此对比各实验室模型的当前位次。

10月19日周一
  1. Arena.ai69

    Arena 宣布 DeepSeek-V4.1-Flash-20261017 (Max) 成为 Code Arena: WebDev 榜单第一开源模型,超过 Kimi K3 (Max),成本低约 10 倍。

    引用DeepSeek@deepseek_ai

    🚀 DeepSeek-V4.1-Flash-1017 来了! 与上一版本相比,基准测试表现更强、任务完成更快、输出更短——在性能与成本上实现了帕累托改进。现已在我们的网站、应用和 API 上线。 🛠️ 针对 @DeepSeekHarness、Tencent CodeBuddy、WorkBuddy 等进行了优化。升级到 DeepSeek Harness v0.2.1-rc.1 或更高版本,以获得新模型的最佳体验。 1/4

    推荐理由:Arena 榜单给出了具体排名、分数和价格点,读者可以据此评估 DeepSeek 新版模型在 WebDev 编码上的性价比位置。

10月17日周六
  1. Arena.ai80

    Arena 公布 Meta 发布的 Muse Spark Open (Max) 在 Code Arena: WebDev 以 1511 分位居美国开源模型第一、开源模型总榜第 13。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open,这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造,它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格: → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由:基于 Arena 自家 Code Arena 榜单给出 Muse Spark Open 的具体得分、排名与定价对比,读者可据此定位该开源模型的真实水准。

10月16日周五
  1. Artificial Analysis 完整文章61

    Reflection 发布首个开源权重模型 Beam,Artificial Analysis 评测得分 30 居美国开源模型第二

    Artificial Analysis 评测 Reflection 首个模型 Beam,其在 Artificial Analysis Intelligence Index 得 30 分,在美国开源权重模型中排第二,仅次于 Meta 的 Muse Spark Open(39)。

    推荐理由:第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据,可用于横向比较其智能体与编码能力。

  2. Artificial Analysis 完整文章66

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测

    Artificial Analysis 公布首批 AA-AgentPerf 结果,测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率,对比 GB300 NVL72。

    推荐理由:Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐,读者可据此评估新硬件对智能体推理服务成本的影响。

  3. Arena.ai78

    Arena 宣布 Meta 的 Muse Spark Open 已进入 Agent Arena,用户可实测,评分即将公布。该模型为 816B 总参数、42B 激活参数,1M token 上下文窗口,原生多模态。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open,这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造,它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格: → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由:Arena 官宣 Meta 新模型进入 Agent Arena 和 Code Arena,读者可自行实测并等待基于真实任务的评分。

10月15日周四
  1. Google Developers Blog63

    Google 工程师讲解如何系统评测 AI 智能体,告别 vibe check

    Google Developers Blog 发布智能体评测实践指南,指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。

    推荐理由:原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程,可用 agent-eval 工具包直接复现,避开四个常见评测陷阱。

  2. Elon Musk67

    Musk 发文称 Grok Voice 3.0 已是全球领先的对话语音模型,并引用 Artificial Analysis 的评测:Grok Voice 3.0 以 86.9 分登顶 Speech to Speech Index,领先 GPT-Live-1(Astra, medium)的 83.2 和 Gemini 3.8 Live 的 82.6,较 Grok Voice 2.0 的 81.3 提升 5.6 分。该模型通过 Realtime API 提供,价格 $0.08 每分钟,Big Bench Audio 平均首音频延迟 0.81 秒,任务成功率 94.8% 居榜首。

    引用Artificial Analysis@ArtificialAnlys

    SpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型,在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1,同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者,这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型,价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点: ➤ 语音到语音指数:Grok Voice 3.0 以 86.9 首次亮相即排名第 1,领先于 GPT-Live-1(Astra,medium)的 83.2、Gemini 3.8 Live Extended Thinking(High)的 82.6 和 GPT-Live-1(Sol,low)的 80.1。它高于 Grok Voice 2.0 的 81.3(+5.6 分)和 Grok Voice 1.0 的 73.7(+13.2 分),后者发布至今还不到六个月。该指数平均了语音推理(Big Bench Audio)、智能体性能(Tau Voice)、Arena 偏好和任务成功率 ➤ 语音智能体 Arena:Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3,落后于 Gemini 3.1 Flash Live Minimal(1100)和 Gemini 3.8 Live(1088),领先于 GPT-Live-1(Sol,low)的 1057,并以 94.8% 的任务成功率排名第 1,为榜单最高,略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice:Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2,落后于 GPT-Live-1(Astra,medium)的 74.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 68.6% 和 GPT-Live-1(Sol,low)的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio:Grok Voice 3.0 在音频推理上得分 98.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度:在 Big Bench Audio 上,Grok Voice 3.0 的平均首次音频时间为 0.81 秒,明显领先于 GPT-Live-1(Sol,low)的 1.24 秒、GPT-Live-1(Astra,medium)的 1.34 秒和 Gemini 3.8 Live Extended Thinking(High)的 1.35 秒,但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本:Grok Voice 3.0 的输入音频成本为每小时 $4.80,与 Grok Voice 2.0 相同。这高于 GPT-Live-1(Sol,low)的 $4.47 和 Gemini 3.8 Live Extended Thinking(High)的 $3.50,低于 GPT-Live-1(Astra,medium)的 $5.83,并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️

    推荐理由:作者引用第三方评测数据,读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。

  3. Arena.ai66

    Arena 发布基于超过 5000 次真实智能体会话的评测结果,Meta 的 Muse Wonder (Max) 进入 Agent Arena 第12名,净提升 +6.4%,比 Muse Spark 1.3 (Max) 高 +2.8 分并上升四位。

    引用Arena.ai@arena

    由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena:WebDev 以 1651 分位列第 15,Text Arena 以 1513 分位列第 2! 在 Code Arena:WebDev 中,Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max),与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内,并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比,Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本!

    推荐理由:原文基于5000多个真实智能体会话给出排名和成本对比,读者可据此衡量 Muse Wonder (Max) 的性价比变化。

10月14日周三
  1. Arena.ai72

    Arena 宣布 Meta 的 Muse Wonder (Max) 进入 Code Arena: WebDev 榜单第15名(1651分),与 Kimi K3 (Max) 的 1655 分相差 4 分。

    引用AI at Meta@AIatMeta

    我们很高兴推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,这是我们迄今为止最强大的模型。两者都是前沿模型,旨在为个人和专业代理任务提供最先进的性能。 Muse Wonder 今天可通过 Meta Model API 和 Muse Code 使用。Muse Wonder Full 今天面向 Muse Code 订阅者提供。Muse Wonder 很快还将为我们的个人代理产品 Muse 中的体验提供支持,首先向订阅者推出。

    推荐理由:榜单给出了 Muse Wonder (Max) 与邻近模型的分差和名次变化,读者可以据此比较它在编码与文本上的实际位置。

10月13日周二
  1. Artificial Analysis 完整文章76

    Meta 发布 Muse Wonder 和 Muse Wonder Full,Artificial Analysis 实测智能水平较前代显著提升

    Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型,在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分(max reasoning effort)。

    推荐理由:Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本,读者可据此对比它们在同类模型中的位置。