跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

216 条精选近 30 天 59 条共收录 1,577 条

更新

评测基准的精选

10月17日周六第 1–20 条
  1. Arena.ai80

    Arena 公布 Meta 发布的 Muse Spark Open (Max) 在 Code Arena: WebDev 以 1511 分位居美国开源模型第一、开源模型总榜第 13。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open,这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造,它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格: → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由:基于 Arena 自家 Code Arena 榜单给出 Muse Spark Open 的具体得分、排名与定价对比,读者可据此定位该开源模型的真实水准。

10月16日周五
  1. Artificial Analysis 完整文章61

    Reflection 发布首个开源权重模型 Beam,Artificial Analysis 评测得分 30 居美国开源模型第二

    Artificial Analysis 评测 Reflection 首个模型 Beam,其在 Artificial Analysis Intelligence Index 得 30 分,在美国开源权重模型中排第二,仅次于 Meta 的 Muse Spark Open(39)。

    推荐理由:第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据,可用于横向比较其智能体与编码能力。

  2. Artificial Analysis 完整文章66

    Artificial Analysis 发布 NVIDIA Vera Rubin NVL72 首批 AA-AgentPerf 智能体推理评测

    Artificial Analysis 公布首批 AA-AgentPerf 结果,测试 NVIDIA Vera Rubin NVL72 在智能体编码工作负载下的服务效率,对比 GB300 NVL72。

    推荐理由:Artificial Analysis 实测四种模型在 Vera Rubin NVL72 与 GB300 上的每瓦吞吐,读者可据此评估新硬件对智能体推理服务成本的影响。

  3. Arena.ai78

    Arena 宣布 Meta 的 Muse Spark Open 已进入 Agent Arena,用户可实测,评分即将公布。该模型为 816B 总参数、42B 激活参数,1M token 上下文窗口,原生多模态。

    引用AI at Meta@AIatMeta

    今天我们发布 Muse Spark Open,这是迄今为止能力最强的美国开放权重模型。 专为编程和智能体工作打造,它擅长长周期任务、复杂软件工程和多步推理。 关键模型规格: → 816B 总参数 / 42B 激活参数 → 1M token 上下文窗口 → 原生支持文本、图像、视频、音频多模态

    推荐理由:Arena 官宣 Meta 新模型进入 Agent Arena 和 Code Arena,读者可自行实测并等待基于真实任务的评分。

10月15日周四
  1. Google Developers Blog63

    Google 工程师讲解如何系统评测 AI 智能体,告别 vibe check

    Google Developers Blog 发布智能体评测实践指南,指出仅靠终端跑几个提示词的 vibe check 无法发现智能体重试循环、工具参数幻觉等隐性失败。

    推荐理由:原文给出从 CUJ 定义到 CI/CD 门禁的完整智能体评测流程,可用 agent-eval 工具包直接复现,避开四个常见评测陷阱。

  2. Elon Musk67

    Musk 发文称 Grok Voice 3.0 已是全球领先的对话语音模型,并引用 Artificial Analysis 的评测:Grok Voice 3.0 以 86.9 分登顶 Speech to Speech Index,领先 GPT-Live-1(Astra, medium)的 83.2 和 Gemini 3.8 Live 的 82.6,较 Grok Voice 2.0 的 81.3 提升 5.6 分。该模型通过 Realtime API 提供,价格 $0.08 每分钟,Big Bench Audio 平均首音频延迟 0.81 秒,任务成功率 94.8% 居榜首。

    引用Artificial Analysis@ArtificialAnlys

    SpaceXAI 的 Grok Voice 3.0 是新的领先语音到语音模型,在 Artificial Analysis 语音到语音指数上以 86.9 首次亮相即排名第 1,同时在延迟方面也很有竞争力 Grok Voice 3.0 是 @SpaceXSI 的 Grok Voice 2.0 的继任者,这是一款可通过 SpaceXAI Realtime API 使用的语音到语音模型,价格为每分钟 $0.08。我们通过 SpaceXAI Realtime API 使用 Rex 语音对 Grok Voice 3.0 进行了评估。 关键要点: ➤ 语音到语音指数:Grok Voice 3.0 以 86.9 首次亮相即排名第 1,领先于 GPT-Live-1(Astra,medium)的 83.2、Gemini 3.8 Live Extended Thinking(High)的 82.6 和 GPT-Live-1(Sol,low)的 80.1。它高于 Grok Voice 2.0 的 81.3(+5.6 分)和 Grok Voice 1.0 的 73.7(+13.2 分),后者发布至今还不到六个月。该指数平均了语音推理(Big Bench Audio)、智能体性能(Tau Voice)、Arena 偏好和任务成功率 ➤ 语音智能体 Arena:Grok Voice 3.0 在偏好方面以 Elo 1070 排名第 3,落后于 Gemini 3.1 Flash Live Minimal(1100)和 Gemini 3.8 Live(1088),领先于 GPT-Live-1(Sol,low)的 1057,并以 94.8% 的任务成功率排名第 1,为榜单最高,略高于 Grok Voice 2.0 的 94.6%。Grok Voice 2.0 以 Elo 1011 落后 ➤ Tau Voice:Grok Voice 3.0 在我们实现的 Tau Voice 基准上以 71.6% 排名第 2,落后于 GPT-Live-1(Astra,medium)的 74.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 68.6% 和 GPT-Live-1(Sol,low)的 59.3%——高于 Grok Voice 2.0 的 56.5% ➤ Big Bench Audio:Grok Voice 3.0 在音频推理上得分 98.5%,领先于 Gemini 3.8 Live Extended Thinking(High)的 97.7% 和 Grok Voice 2.0 的 97.2% ➤ 速度:在 Big Bench Audio 上,Grok Voice 3.0 的平均首次音频时间为 0.81 秒,明显领先于 GPT-Live-1(Sol,low)的 1.24 秒、GPT-Live-1(Astra,medium)的 1.34 秒和 Gemini 3.8 Live Extended Thinking(High)的 1.35 秒,但慢于 Grok Voice 2.0 的 0.70 秒 ➤ 成本:Grok Voice 3.0 的输入音频成本为每小时 $4.80,与 Grok Voice 2.0 相同。这高于 GPT-Live-1(Sol,low)的 $4.47 和 Gemini 3.8 Live Extended Thinking(High)的 $3.50,低于 GPT-Live-1(Astra,medium)的 $5.83,并且比 GPT-Realtime-2.1 High 的 $10.75 便宜约 2.2 倍 祝贺 @elonmusk 和 @SpaceXSI 团队 🚀 更多详情见下方 ⬇️

    推荐理由:作者引用第三方评测数据,读者可以据此对比 Grok Voice 3.0 与同类语音模型在评分、延迟和价格上的差异。

  3. Arena.ai66

    Arena 发布基于超过 5000 次真实智能体会话的评测结果,Meta 的 Muse Wonder (Max) 进入 Agent Arena 第12名,净提升 +6.4%,比 Muse Spark 1.3 (Max) 高 +2.8 分并上升四位。

    引用Arena.ai@arena

    由 @AIatMeta 推出的 Muse Wonder (Max) 已进入 Code Arena:WebDev 以 1651 分位列第 15,Text Arena 以 1513 分位列第 2! 在 Code Arena:WebDev 中,Muse Wonder (Max) 以 1651 分位列第 15。这一结果略低于以 1659 分位列第 12 的 Muse Spark 1.3 (Max),与以 1655 分位列第 14 的 Kimi K3 (Max) 相差 4 分以内,并比以 1640 分位列第 16 的 Grok 4.7 (xHigh) 高 11 分。 此次发布在 Text Arena 中相较过去的 Muse 模型有显著提升。与以 1494 分位列第 11 的 Muse Spark 1.3 (Max) 相比,Muse Wonder (Max) 提升了 +19 分并上升 9 位至第 2。它落后于以 1525 分排名第 1 的 Gemini 4 Argon (High) 12 分。 祝贺 @AIatMeta 团队发布这一版本!

    推荐理由:原文基于5000多个真实智能体会话给出排名和成本对比,读者可据此衡量 Muse Wonder (Max) 的性价比变化。

10月14日周三
  1. Arena.ai72

    Arena 宣布 Meta 的 Muse Wonder (Max) 进入 Code Arena: WebDev 榜单第15名(1651分),与 Kimi K3 (Max) 的 1655 分相差 4 分。

    引用AI at Meta@AIatMeta

    我们很高兴推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,这是我们迄今为止最强大的模型。两者都是前沿模型,旨在为个人和专业代理任务提供最先进的性能。 Muse Wonder 今天可通过 Meta Model API 和 Muse Code 使用。Muse Wonder Full 今天面向 Muse Code 订阅者提供。Muse Wonder 很快还将为我们的个人代理产品 Muse 中的体验提供支持,首先向订阅者推出。

    推荐理由:榜单给出了 Muse Wonder (Max) 与邻近模型的分差和名次变化,读者可以据此比较它在编码与文本上的实际位置。

10月13日周二
  1. Artificial Analysis 完整文章76

    Meta 发布 Muse Wonder 和 Muse Wonder Full,Artificial Analysis 实测智能水平较前代显著提升

    Meta 发布 Muse Wonder 和 Muse Wonder Full 两款模型,在 Artificial Analysis Intelligence Index v4.3 上分别得 52 和 56 分(max reasoning effort)。

    推荐理由:Artificial Analysis 独立实测了两款新模型的智能指数、token 用量和成本,读者可据此对比它们在同类模型中的位置。

  2. Arena.ai78

    Arena 宣布 Meta 的 Muse Wonder 系列模型上线 Agent Arena,用户可实测,分数即将公布。

    引用AI at Meta@AIatMeta

    我们很高兴推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,这是我们迄今为止最强大的模型。两者都是前沿模型,旨在为个人和专业代理任务提供最先进的性能。 Muse Wonder 今天可通过 Meta Model API 和 Muse Code 使用。Muse Wonder Full 今天面向 Muse Code 订阅者提供。Muse Wonder 很快还将为我们的个人代理产品 Muse 中的体验提供支持,首先向订阅者推出。

    推荐理由:Meta 新模型刚上架 Arena,分数尚未公布,读者可先在 Agent Arena 实测其智能体任务表现。

10月10日周六
  1. Epoch AI:Gradient Updates62

    Epoch AI 发布 InnovationEval 评测:前沿模型仅达到人类论文 SDPO 增益的 15%

    Epoch AI 推出 InnovationEval 评测,测试 AI 能否独立复现人类论文中的机器学习创新,对照对象为 Self-Distillation Policy Optimization(SDPO)。

    推荐理由:原文用自建评测给出前沿模型在端到端AI研发上的量化差距,还记录了结果夸大和奖励投机行为,对判断AI自动化研究进度有参考价值。

10月9日周五
  1. Arena.ai71

    Arena 宣布 Mistral Large 4 进入 Agent Arena 前十五实验室,基于超 5000 个真实智能体会话,该预览版净改进分为 -6.6%,总排名第 43,比前代 Mistral Medium 3.5(-12.60%)高出 11 位。

    引用Mistral AI@MistralAI

    认识一下 Mistral Large 4,又名 Le Chonk。 • 1T 参数,原生多模态。49B 激活。 在综合基准测试中,它是来自美国或欧洲的最佳开放权重模型。 • 在关键工作负载上达到最先进水平,包括网络防御、制造业和金融,并且在视觉定位方面超越了闭源前沿模型。 • 端到端在欧洲打造,并可通过我们自己的 Mistral Cloud 基础设施从欧洲部署。 • 今天即可通过 API 向所有人开放。正与网络安全合作伙伴私下合作。 开放权重版本将于十月底发布。

    推荐理由:Arena 用 Agent Arena 实测数据给出 Mistral Large 4 的排名与分数,可对照其官方发布信息核实模型实际表现。

  2. Arena.ai71

    Arena 公布 Anthropic Claude Haiku 5.5 (High) 的真实评测结果,在 Code Arena: WebDev 以 1587 分首秀排名第 30,略在 Pareto 前沿之外。

    引用Claude@claudeai

    隆重推出 Claude Haiku 5.5:我们迄今为止发布的最便宜、最快、最强大的小型模型。 平均而言,它的运行成本比 Claude Haiku 4.5 低约 75%。

    推荐理由:榜单方给出 Haiku 5.5 在 Code Arena 的实际得分与各档 Claude 模型的成本分差,便于横向权衡性价比。

10月8日周四
  1. Artificial Analysis 完整文章78

    Anthropic 发布 Claude Haiku 5.5,Artificial Analysis 评测得分 43

    Anthropic 发布 Claude Haiku 5.5,在 Artificial Analysis Intelligence Index 得 43 分,较上一代 Haiku 一年内提升 26 分,是首个支持 effort 设置与 adaptive thinking 的 Haiku 模型。

    推荐理由:原文给出 Haiku 5.5 的跑分、token 消耗与分层定价细节,并指出 token 用量偏高和拒绝率问题,可作为选型参考。

10月7日周三
  1. Arena.ai68

    Arena 宣布 Mistral Large 4 登陆 Code Arena: WebDev,以 1534 分排名第 45,比 Mistral Large 3(第130名)高 304 分,比 Mistral Medium 3.5 高 271 分。

    引用Mistral AI@MistralAI

    认识一下 Mistral Large 4,又名 Le Chonk。 • 1T 参数,原生多模态。49B 激活。 在综合基准测试中,它是来自美国或欧洲的最佳开放权重模型。 • 在关键工作负载上达到最先进水平,包括网络防御、制造业和金融,并且在视觉定位方面超越了闭源前沿模型。 • 端到端在欧洲打造,并可通过我们自己的 Mistral Cloud 基础设施从欧洲部署。 • 今天即可通过 API 向所有人开放。正与网络安全合作伙伴私下合作。 开放权重版本将于十月底发布。

    推荐理由:Arena 实测数据显示 Mistral Large 4 的编码得分、排名和价格对比,可帮读者评估其性价比位置。