跳到正文
Artificial Analysis 完整文章·· 23 小时前精选AI 评分61

Reflection 发布首个开源权重模型 Beam,Artificial Analysis 评测得分 30 居美国开源模型第二

Reflection has released Beam, their first model launch

AI 导读

Artificial Analysis 评测 Reflection 首个模型 Beam,其在 Artificial Analysis Intelligence Index 得 30 分,在美国开源权重模型中排第二,仅次于 Meta 的 Muse Spark Open(39)。

推荐理由

第三方评测给出 Beam 在美国开源权重模型中的位置与 token 效率数据,可用于横向比较其智能体与编码能力。

正文 · AI 翻译

Reflection 的首个模型 Beam 在 Artificial Analysis Intelligence Index 上得分 30,位列美国开放权重模型第 2 名

查看模型页面 查看模型页面

Beam 是一个开放权重模型,总参数 501B,激活参数 23B

要点:

➤ 美国开放权重模型第二:Beam 得分 30,仅次于 Meta 的 Muse Spark Open(39),领先于昨天发布的 NVIDIA Nemotron 3.5 Super VL(26)。在中国以外,只有 Muse Spark Open 和阿联酋的 K2 Horizon(31)得分更高

➤ 与其智能水平相比 token 高效:Beam 在 Intelligence Index 每个任务上使用约 26k 输出 token,而领先一分的 K2 Horizon 使用的 token 是其两倍(约 52k)。专有模型仍处于前沿,GPT-6 Astra(max)在相同预算(约 27k)下得分 53

➤ 在智能体工作流上表现强劲,在终端中较弱:Beam 在 AutomationBench-AA 上得分 48.5%,领先 K2 Horizon(37.2%)11 个百分点,与 Qwen3.8 27B(48.2%)持平。Terminal-Bench 4.0 是弱项,Beam 得分 3.0%,落后于 Qwen3.8 27B(5.6%)和 Muse Spark Open(8.1%)

➤ 知道更多,也猜得更多:在 AA-Omniscience 上,它正确回答了 33% 的问题,远超 K2 Horizon(18%)和 Qwen3.8 27B(16%)。但其幻觉率为 47%,而 K2 Horizon 为 26%,Qwen3.8 27B 为 30%,这使 Beam 的净指数得分为 1.5,领先于两个同类(−3.0 和 −10.0)

其他模型细节

  • 上下文窗口: 1M token
  • 模态: 文本
  • 参数:501B / 23B

与开放权重同类相比

Beam 在对阵美国开放权重模型时得分很高,落后于 Meta 的 Muse Spark Open(39),领先于 NVIDIA 的 Nemotron 3.5 Super VL(26),三者均于本周发布。在所有开放权重模型中,它排名第十,落后 K2 Horizon(31)一分

网络能力

Beam 在 Artificial Analysis Cyber Index 上完成了 34% 的任务,使其成为我们测试过的领先美国开放权重模型

得益于其 token 效率,它还位于 Cyber Index 与每任务输出 token 的前沿曲线上,与 GPT-6 Sol(Daybreak Blue)并列

高度 token 高效

Beam 在 Intelligence Index 每个任务上使用约 26k 输出 token:约 19k 用于推理,约 7k 用于回答。其输出中只有 26% 用于最终答案,在 Intelligence Index v4.3 上测试的 219 个模型中占比第 28 低

编程技能

在 Reflection 的开源 CLI 工具 Mirror 中运行时,Beam 在 Artificial Analysis Coding Agent Index 上得分 28。它落后于下一个配置 Claude Code 搭配 Qwen3.8 Max(43)15 分,落后领先者(68)40 分。不过它很节省:只有 Codex 搭配 GPT-6 Astra 和 Codex 搭配 GPT-6.1 Sol 使用的 token 更少

Intelligence Index 组成部分

在 Intelligence Index 的十项评估中,Beam 在 AutomationBench-AA(48.5%)和 CritPt(13.1%)上表现突出,在这两项上超过 K2 Horizon(4.6%)和 Qwen3.8 27B(5.4%)一倍以上。其最弱的结果是 Terminal-Bench 4.0(3.0%)和 AA-Briefcase(976 Elo)

Beam 在 Artificial Analysis 页面上的完整详情 https://artificialanalysis.ai/models/reflection-beam

来源:Artificial Analysis 完整文章 · artificialanalysis.ai