跳到正文

内容类型

评测基准 最新动态

模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。

216 条精选近 30 天 60 条共收录 1,575 条

更新

精选归档 · 第 2 页

10月7日周三第 21–40 条
  1. Artificial Analysis 完整文章66

    Mistral 发布 Mistral Large 4,Artificial Analysis 评测称其为美中之外最智能模型

    Mistral 发布 Mistral Large 4(Research Public Preview),在 Artificial Analysis Intelligence Index 得分 38,与 GPT-6 Luna(max, 38)相当,为美中之外最智能模型,计划 10 月底开源 1T 参数(49B 激活)权重。

    推荐理由:原文给出 Intelligence Index、Cyber Index、定价与上下文窗口等具体数据,读者可据此评估 Mistral Large 4 的真实水平与成本。

10月6日周二
  1. Arena.ai67

    Arena 宣布 Mistral 的 Mistral Large 4 现已进入 Agent Arena,用户可前往测试投票,分数稍后公布。该模型为 1T 参数、49B 激活的原生多模态开放权重模型,也已在 Code Arena 的 WebDev、Text 和 Vision 中可用。

    引用Mistral AI@MistralAI

    认识一下 Mistral Large 4,又名 Le Chonk。 • 1T 参数,原生多模态。49B 激活。 在综合基准测试中,它是来自美国或欧洲的最佳开放权重模型。 • 在关键工作负载上达到最先进水平,包括网络防御、制造业和金融,并且在视觉定位方面超越了闭源前沿模型。 • 端到端在欧洲打造,并可通过我们自己的 Mistral Cloud 基础设施从欧洲部署。 • 今天即可通过 API 向所有人开放。正与网络安全合作伙伴私下合作。 开放权重版本将于十月底发布。

    推荐理由:原文说明 Agent Arena 用真实长程智能体任务和因果追踪方法评分,读者可据此理解该评测如何衡量模型表现。

  2. SemiAnalysis 长文 RSS71

    SemiAnalysis 测算:Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上

    SemiAnalysis 通过逐项测量用量表变化,估算各订阅计划的 API 等价价值,结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。

    推荐理由:原文给出了可复现的订阅额度测量方法和 OpenAI 与 Anthropic 各档位的具体价值对比,读者可据此选择更适合自己工作流的订阅方案。

10月4日周日
  1. Hugging Face 社区博客65

    Microsoft ThinkingBox 在 Hugging Face 上发布,以数据库终态和 20 次重复评测智能体

    Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱与 ThinkingBox-Bench 基准,覆盖 507 个有状态业务工作流、每任务运行 20 次,以终局数据库状态和副作用作可执行判定,现可通过 OpenEnv 在 Hugging Face 上运行。

    推荐理由:原文用数据库终态加 20 次重复评测智能体,给出一致性保留率、失败签名和可复现的运行方式,值得关注记录型工作流的可靠性评估。

10月3日周六
  1. Arena.ai73

    Arena 宣布 OpenAI 的 GPT-6.1 Sol (Max) 在 Agent Arena 排名第 5(+11.23%),中位任务成本 $0.56,并重塑了 Pareto 前沿。

    引用Arena.ai@arena

    激动人心的消息:@OpenAI 的 GPT-6.1 Sol (Max) 刚刚在 Code Arena: WebDev 上以 1759 分位列第 3,并且以每百万 Token 8 美元的混合价格重塑了帕累托前沿! GPT-6.1 Sol (Max) 在成本效率上实现了明显提升:在相同价格下,它比 GPT-6 Sol (Max) 提高了 70 分。 它与 GPT-6 Astra (Max) 的差距在 30 分以内,而混合 Token 成本低了 80%;与 Claude Opus 5.5 (Max) 相差 59 分,而价格只有其 50%。在下方的帖子中查看 Code Arena: WebDev 帕累托前沿上的位置。 总体而言,GPT-6.1 Sol 相比 GPT-6 Sol 提升了 4 个排名!它在每个类别中也有所提升: - 消费产品:第 5 → 第 1 - 模拟:第 6 → 第 3 - 数据与分析:第 4 → 第 3 - 内容创作工具:第 4 → 第 3 - 游戏:第 6 → 第 4 - 基于参考的设计:第 6 → 第 4 - 品牌与营销:第 10 → 第 6 祝贺 @OpenAI 团队发布!

    推荐理由:官方榜单数据给出了 GPT-6.1 Sol (Max) 的排名与成本对比,读者可以据此评估它在智能体任务上的性价比位置。

  2. Arena.ai69

    Arena 发布 Agent Arena 最新榜单,Anthropic 的 Claude Sonnet 5.5 以 +12.5% 净提升得分排名第 3,单任务中位成本 $2.74,比排名第 2 的 Claude Opus 5.5($1.58)高约 73%,且 Opus 5.5 得分更高,因此 Sonnet 5.5 未进入 Agent Arena 的 Pareto 前沿。据引用内容,Sonnet 5.5 在 Chat 类目以 +15.6% 排名第 1,Anthropic 模型包揽 Agent Arena 前三名。

    引用Arena.ai@arena

    激动人心的消息:@AnthropicAI 的 Claude Sonnet 5.5 (Max) 在 Agent Arena 中首次亮相便位列第 3,净提升达 +12.5%! 此次发布相比 Claude Sonnet 5 (High) 提升了 8.1 个百分点,后者以 +4.4% 的净提升位列第 13。按类别划分,Claude Sonnet 5.5 在 Chat 中夺得第 1 名(+15.6%),高于 Fable 5.1(+11.49%)和 Opus 5.5(+10.29%)。 这一表现伴随着更高的成本:Claude Sonnet 5.5 (Max) 的每任务中位成本为 $2.74,比排名第 2 的 Claude Opus 5.5 (High) 的 $1.58 高出约 73%。 @AnthropicAI 的模型如今占据了 Agent Arena 的前三名。恭喜团队!

    推荐理由:原文基于 Arena 榜单数据指出 Claude Sonnet 5.5 得分高但成本更高、未进 Pareto 前沿,读者可以据此比较成本与性能的取舍。

10月2日周五
  1. Arena.ai69

    Arena 宣布 Xiaomi MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 登陆 Agent Arena。Pro 在 8.1K+ 真实智能体会话中净提升 +3.17%,列开源模型第5,较 MiMo-V2.5-Pro(第13,-7.23%)提升9个名次;其 Confirmed Success 得分 +7.35%,列开源模型第2。

    引用Xiaomi MiMo@XiaomiMiMo

    隆重介绍小米 MiMo-V2.6 —— Pro 与 Flash。 前沿智能,全模态,公开构建。 🔹 两款全模态模型,通过规模化强化学习不断进阶 🔹 在大多数智能体基准测试中,Pro 的表现与 Claude Opus 5 和 GPT-5.6 Sol 不相上下 🔹 Pro 在 Artificial Analysis Intelligence Index 上得分 46 —— 为开源模型中的最高分 🔹 更强的编程、计算机操作、3D 推理与创作能力 🔹 开放模型权重、技术报告、RL 环境与训练代码 博客:https://mimo.xiaomi.com/mimo-v2-6

    推荐理由:Arena 官方给出 MiMo-V2.6 两款模型在真实智能体会话中的排名、净提升和成本数据,可据此比较其实际表现与性价比。

  2. Arena.ai71

    Arena 宣布 Claude Sonnet 5.5(xHigh)进入 Code Arena: WebDev 榜单,以 1786 分排名第 3,距第 2 名 GPT-6 Astra 的 1788 分仅差 2 分。

    引用Arena.ai@arena

    Claude Sonnet 5.5 (High) 由 @AnthropicAI 推出的真实世界结果出炉了。它刚刚以 1699 分在 Code Arena: WebDev 中排名第 #4,并凭借其成本效率重塑了帕累托前沿! Claude Sonnet 5.5 (High) 以每百万 token 综合 $8 的价格提供了近乎顶尖的性能,重塑了帕累托前沿!该模型比总排名第 #3 的 Claude Fable 5.1 (Max) 和排名第 #2 的 GPT-6 Astra (Max) 都便宜 80%。 见下方帕累托位置。 总体而言,Claude Sonnet 5.5 (High) 相比排名第 #37、得分 1540 的 Sonnet 5 (High) 提升了 +159 分。与其前代变体相比的这一提升目前也体现在以下关键领域: - 基于参考的设计:#38 → #4 - 模拟:#37 → #4 - 游戏:#36 → #4 祝贺 @AnthropicAI 发布!

    推荐理由:原文给出 Claude Sonnet 5.5 xHigh 的具体榜单分数与分项排名,读者可以据此比较它与 GPT-6 Astra 的性价比位置。

10月1日周四
  1. Arena.ai79

    Arena 公布 Gemini 4 Argon (High) 在 Agent Arena 排名第 8,净提升分 +7.92%,每任务成本 $0.62。

    引用Arena.ai@arena

    重大新闻:@GoogleDeepMind 的 Gemini 4 Argon (High) 刚刚以 1525 分在 Text Arena 中排名第 1,并以 1679 分在 Code Arena: WebDev 中排名第 8! 此次发布以 8 美元/百万 Token 的混合价格重塑了 Text Arena 的帕累托前沿!Gemini 4 Argon (High) 现在是成本效率最高的模型,请在下方查看其在帕累托前沿上的位置。 在 Text Arena 中,Gemini 4 Argon (High) 在 Coding、Hard Prompts、Instruction Following、Longer Query 和 Creative Writing 中排名第 1。它还在所有评估的职业领域中领先,并在英语、非英语、中文和俄语中额外获得第 1 名。 该模型比排名第 2 的 Claude Opus 4.6 (High) 高出 20 分,相比 Google 上一次发布的 Gemini 3.8 Flash (High)(排名第 11)是一次巨大飞跃! 在 Code Arena: WebDev 中,Gemini 4 Argon (High) 比 Gemini 3.8 Flash (High) 提升了 96 分,并从第 29 名升至第 8 名。 祝贺 @GoogleDeepMind 团队完成这一令人印象深刻的前沿发布!

    推荐理由:原文给出 Gemini 4 Argon (High) 在 Agent Arena 的排名、净提升分和成本数据,读者可据此评估其智能体任务表现与性价比。

  2. Arena.ai70

    Arena 评测榜单显示,OpenAI 的 GPT-6.1 Sol (Max) 以 1759 分位列 Code Arena: WebDev 第 3 名,混合价格为 $8/MToken。相比 GPT-6 Sol (Max) 同价提升 70 分,排名上升 4 位,且在 Consumer Product 等所有类目均有提升。

    引用OpenAI@OpenAI

    GPT-6.1 Sol:以五分之一的价格提供接近 Astra 的智能。 它是当今可用的、在其性能水平上最具成本效益的模型。

    推荐理由:评测方公布了 GPT-6.1 Sol (Max) 的排名和价格数据,读者可以据此比较它在成本与性能权衡中的位置。

9月30日周三
  1. Artificial Analysis 完整文章64

    Artificial Analysis 开源 AA-AgentPerf-Local,测试笔记本与工作站上本地 AI 智能体推理性能

    Artificial Analysis 发布开源工具 AA-AgentPerf-Local,通过重放 8 个真实智能体任务(168 轮、上下文增长至约 56K tokens)测试本地推理性能,并上线笔记本与工作站排行榜。

    推荐理由:原文给出四种桌面级硬件和四个模型的智能体推理实测结果与全部开源配置,可帮读者在搭建本地 agent 前做选型比较。

  2. Arena.ai84

    Arena 公布 Claude Sonnet 5.5 (High) 在 Code Arena: WebDev 以 1699 分排第 4,混合价格约 $8 per Mtoken,比第 2、3 名便宜 80%。相较 Sonnet 5 (High) 的 1540 分提升 159 分,Reference-Based Design、Simulations、Gaming 均从第 30 多名升至第 4。

    引用Claude@claudeai

    隆重推出 Claude Sonnet 5.5,Claude 5.5 家族中的第二个模型。 相比 Sonnet 5 有明显升级,运行速度提升超过 30%,且大多数工作的成本最多降低 30%。

    推荐理由:原文给出实测榜单名次、分数与价格对比,读者可以据此评估该模型在成本与性能间的实际位置。

9月29日周二
  1. Arena.ai77

    Arena 公布 GPT-6 Luna (Max) 在 Agent Arena 排名第 23,基于 8K 真实智能体会话,净提升 +1.6%,比 GPT-5.6 Luna (xHigh) 上升 6 位。

    引用OpenAI@OpenAI

    欢迎 GPT-6 Sol 和 GPT-6 Luna 加入 GPT-6 宇宙。 GPT-6 Sol 和 Luna 建立在 GPT-6 Astra 背后的技术进展之上,将其大部分优势带入更快、更实惠的模型,以支持大规模工作。 我们还提升了缓存和推理效率,并将节省下来的成本直接让利给你:与 GPT-5.6 促销价格相比,Sol 和 Luna 的 API 价格降低了 50%。

    推荐理由:Arena 用 8K 真实智能体会话数据给出 GPT-6 Luna (Max) 的排名与成本对比,读者可据此权衡其性价比定位。