Topic · 主题全部主题 →

评测基准

模型到底谁强：Benchmark 成绩、评测方法论争议与排行榜变化的持续记录。

1,786条收录
128条精选

最新精选

第 1–20 条 · 共 128 条

9月5日

星期六 · 1 条
19:40
公众号：数字生命卡兹克精选
AI 评分 77/100
实测GPT-6 Astra：速度、前端与代码能力对比GPT-5.6 Sol的全面升级

GPT-6 Astra正式向所有订阅用户推送，作者实测后认为其综合能力追平Claude Fable 5，且额度100%可用。相比GPT-5.6 Sol，速度明显提升，大型系统审查从数小时缩短到约10分钟，代码扫描找出大量此前未发现的性能问题并2小时完成修复；前端3D生成和审美大幅强化，写作在白描和用词上更好但仍缺中文留白感。

智能体OpenAI编码评测/基准
推荐理由：作者实测了GPT-6 Astra在速度、前端生成、代码深度和写作上的具体变化，并给出可迁移的AGENT.md简化思路。

9月4日

星期五 · 3 条
19:32
The Decoder：AI News（RSS）精选
AI 评分 78/100
GPT-6 Astra 基准表现分歧，ARC-AGI-3 效率超人类令 Chollet 提前 AGI 预测

GPT-6 Astra 的基准结论相互矛盾：Epoch AI 以 169 分将其排在 267 个模型之首，Artificial Analysis 给出 61 分，仅与前代 Sol 持平、落后 Claude Fable 5.1 的 66 分。

智能体OpenAI推理评测/基准
推荐理由：原文汇总多家基准分歧数据并梳理 ARC-AGI-3 效率细节，读者可以借此理解 GPT-6 Astra 各项成绩的真实含义。
04:04
François Chollet@fchollet精选
AI 评分 81/100
François Chollet 评 GPT-6 Astra 在 ARC-AGI-3 上的表现GPT-6 Astra represents a step-function change in model capability for interactive reasoning problems. It scores 66% on ARC-AGI-3 using our standard harness, and nearly 100% with a continuous conversation harness and custom compaction, at a cost of roughly $360 per game.In fact, the continuous harness version significantly outperforms our human baseline in action efficiency across almost all levels. When we examined the reasoning chains to understand how the model operates, we found it performing highly efficient, on-the-fly symbolic world modeling for each game and level. It goes as far as developing its own shorthand DSL to represent in-game situations -- essentially a game-specific algebraic notation.Overall, Astra exhibits symbolic modeling behaviors we had previously only seen with sophisticated harnesses -- so harness capabilities are increasingly shifting into the model itself.We see Astra as a major breakthrough in model intelligence.Read our post on Astra and what these results mean: https://arcprize.org/blog/astra译François Chollet 发文称 GPT-6 Astra 在交互式推理任务上带来阶跃式能力提升，使用标准 harness 在 ARC-AGI-3 上得 66%，配合持续对话 harness 和自定义 compaction 接近 100%，每局成本约 $360。
OpenAI推理评测/基准
推荐理由：ARC Prize 作者基于自家标准 harness 的实测数据评估 GPT-6 Astra，读者可对比 66% 与近 100% 两种设置看模型与 harness 能力的边界变化。
03:57
Artificial Analysis@ArtificialAnlys精选
AI 评分 83/100
Artificial Analysis 评测 GPT-6 Astra：编码智能体追平 Fable 5 但价格涨至 2.5 倍GPT-6 Astra makes significant gains in the Artificial Analysis Coding Agent Index, scoring equal to Fable 5 at lower cost. In the Intelligence Index, it uses fewer tokens than GPT-5.6 Sol for similar performance, but this is outweighed by higher pricesPricing is 2.5x GPT-5.6 Sol’s current prices across the board, up from $4/$20 to $10/$50 per million input/output tokens, with the same 90% discount for cache reads and 25% premium for cache writes.We see distinct stories across our two flagship Indices. In the Artificial Analysis Coding Agent Index, GPT-6 Astra equals Fable 5 at less than half the cost, driven by significant token efficiency gains. In the Artificial Analysis Intelligence Index, GPT-6 Astra is more token efficient than its predecessor for similar performance, but this is offset by the price increase.Artificial Analysis Coding Agent Index - key takeaways:➤ Rivals top models: In Codex, GPT-6 Astra scores 67 in the Index - approximately equal to Claude Opus 5 and Fable 5 in Claude Code, and Muse Spark 1.3 in Muse Code. Fable 5.1 in Claude Code leads the Index with a score of 70.➤ 70% more token efficient than GPT-5.6 Sol: GPT-6 Astra sees a substantial improvement in token efficiency, using one third of the tokens compared to GPT-5.6 Sol (max) in the Codex harness, and one fifth of the tokens of Claude Opus 5 (xhigh). Various effort levels of the model occupy the Pareto frontier of token efficiency.➤ Leads Coding Agent Index cost efficiency frontier: At max effort, GPT-6 Astra costs about the same as GPT-5.6 Sol (max) while scoring 2 points higher on the Index. Per task, the model is less than half the cost of Claude Fable 5, for the same score.Artificial Analysis Intelligence Index - key takeaways:➤ Sits beside GPT-5.6 Sol in Intelligence: GPT-6 Astra scores equal to GPT-5.6 Sol in the Index at 61. This is 5 points lower than Claude Fable 5.1 (max with fallback). The model also trails Meta’s newly released Muse Spark 1.3 (max).➤ ~10% fewer output tokens, offset by price increase: GPT-6 Astra defines a new Pareto frontier for Intelligence Index vs Output Tokens per Task - with a ~10% reduction in token use at max effort compared to GPT-5.6 Sol. However, due to the 2.5x increase in price, the model is 75% more expensive per task than its predecessor at max effort.➤ Hallucinates half as much as GPT-5.6 Sol: GPT-6 Astra sees a large jump in AA-Omniscience, our knowledge and hallucination benchmark. This is driven by a significant decrease in hallucination rate from 92% to 51% at max effort. Unlike some models, this improvement does not come at the cost of accuracy - Astra increased accuracy by 4 points at the same time.➤ ~80 point gain in AA-Briefcase Elo: GPT-6 Astra improves ~80 points in AA-Briefcase, our frontier long-horizon knowledge work evaluation. Models are tested on multi-week projects, with many linked tasks and thousands of source files. Astra sees a significant increase in both rubric scores and Analytical Quality Elo in AA-Briefcase compared to its predecessor. In the other direction, we observe a reduction in Presentation Quality Elo, where GPT-5.6 Sol (max) still leads all models.➤ Mixed progress on other evaluations: The model sees a 6 point gain in Humanity’s Last Exam, a long-standing evaluation with emphasis on mathematics, science, and humanities. This is offset by a drop of ~80 Elo points in GDPval-AA v2 - a benchmark we adapted from OpenAI’s dataset measuring economically valuable tasks across 44 occupations. We also observe 2-3 point regressions on other evaluations across a mix of capabilities, including reductions in τ³-Banking (customer support), SciCode (Python problems in a scientific domain), and AA-LCR (long context reasoning over large documents).Congratulations @OpenAI and @sama on the launch!译Artificial Analysis 发布 GPT-6 Astra 评测，其 Coding Agent Index 得分 67，约等于 Claude Opus 5 和 Fable 5，且成本不到 Fable 5 的一半；token 效率比 GPT-5.6 Sol （max） 高约 70%。
OpenAI推理编码评测/基准
推荐理由：Artificial Analysis 以双指数实测数据拆解 GPT-6 Astra 的编码效率收益与涨价抵消逻辑，读者可据此评估换用成本。

9月2日

星期三 · 1 条
04:24
Artificial Analysis@ArtificialAnlys精选
AI 评分 78/100
Claude Fable 5.1 登顶 Artificial Analysis 智能指数，但每任务成本比 Fable 5 高 20%Claude Fable 5.1 tops the Artificial Analysis Intelligence Index but costs 20% more per task than Fable 5 despite a 75% cache read price cutWe supported @AnthropicAI with pre-release evaluation of Claude Fable 5.1. At max effort it scores 66 on the Artificial Analysis Intelligence Index, the highest score we have measured, ahead of Claude Opus 5 (max, 63), Claude Fable 5 (max, 62), GPT-5.6 Sol (max, 61) and Grok 4.6 (high, 61). We evaluated the model with Anthropic's ‘default’ server-side fallback, which routes safety-flagged requests to Claude Opus 4.8 or Claude Opus 5; fallback served ~4% of output tokens across the Intelligence Index.Key takeaways➤ Frontier Intelligence with improvements across benchmarks: Fable 5.1 gains +4 points on the Intelligence Index over Fable 5. On HLE, Fable 5.1 scores 59.1%, ahead of the previous best of 55.5% from Claude Fable 5. It posts the narrowly highest scores we’ve seen on Terminal-Bench v2.1 (91.4%) and SciCode (62.0%), and on τ³-Banking it gains 9 points over Fable 5➤ 75% cache read price cut, but Fable 5.1 still costs more per task: Anthropic has cut the cache read price from $1 to $0.25 per 1M cached input tokens, with standard pricing unchanged at $10/$50 per 1M input/output tokens. Fable 5.1 (max) costs $3.76 per Intelligence Index task, 20% more than Fable 5 (max), because it uses ~1.7x the output tokens. The cache cut saves ~$1.40 per task, concentrated in the agentic evaluations where the majority of input tokens are cache reads. At xhigh effort Fable 5.1 scores 65 at $2.72 per task, $1.04 less than max, but still above Claude Opus 5 (max, 63) at $2.34➤ Claude Fable 5.1 holds the upper end of the Intelligence vs Output Tokens per Task Pareto frontier: every model variant scoring higher than GPT-5.6 Sol (medium) on the Intelligence Index is matched or beaten by a Fable 5.1 effort level on both intelligence and token usage➤ Highest scores on agentic work tasks, but effectively tied with Opus 5: Fable 5.1 sets the highest scores we have measured on GDPval-AA v2 (1,853 Elo, +130 over Fable 5) and AA-Briefcase (1,694 Elo, +122 over Fable 5), our agentic knowledge work evaluations. Against Claude Opus 5 the GDPval-AA v2 lead is within the confidence interval and AA-Briefcase (1,685) is effectively tied, with Fable 5.1 ahead on analytical quality and rubric correctness, but behind on presentationOther model details:➤ Context window: 1 million tokens, supporting image and text inputs as with Anthropic’s other recent launches➤ Pricing: Fable 5.1 retains the $10/$50/$12.5 input, output, and cache write prices per million tokens from Fable 5, but cache hits have been reduced to $0.25 per million tokens, a 75% relative reduction from before that will materially reduce agentic workload costs译Artificial Analysis 评测 Claude Fable 5.1，其在 max effort 下得 66 分登顶 Artificial Analysis Intelligence Index。
智能体Anthropic推理评测/基准
推荐理由：评测方参与预发布评估，给出多档 effort 的得分与每任务成本对比，读者可据此权衡 Claude Fable 5.1 的智能与开销。

8月29日

星期六 · 2 条
15:26
Hacker News 热门（buzzing.cc 中文翻译）精选
AI 评分 75/100
在本地运行 Qwen3.8 27B：来自我的 Mac Studio 的实际数据

Qwen3.8 27B（27.3B 参数，混合注意力架构，262,144 token 上下文窗口，Apache 2.0 开源）在 Mac Studio M3 Ultra 上经 Ollama 以 Q4_K_M 量化（17GB）生成速度约 14 tokens/s。

端侧评测/基准部署/工程
推荐理由：Mac Studio 实测显示，Qwen3.8 生成速度约为前代一半，但答案 token 减少约三分之二，墙钟时间接近，而 1-bit 量化保住事实记忆却丧失决策能力，为量化档位选择提供依据。
05:26
Hugging Face：Blog（RSS）精选
AI 评分 66/100
Open ASR 排行榜新增首个全球南方语言：印地语与印度英语评测集

Voice Arena 与 Hugging Face 合作，为 Open ASR 排行榜引入 Monsoon en-IN 和 Monsoon hi-IN 两个评测集，覆盖印地语与印度英语，其中印地语是该排行榜多语言板块首个非欧洲语言。数据集含公开与私有分割，共 4,888 位说话人，并记录 12 项说话人属性，旨在暴露按地区、年龄、性别等维度分布不均的语音识别误差。

Hugging Face数据/训练评测/基准语音
推荐理由：把评测单元从单一 WER 下探到带 12 项说话人属性的分组，能暴露模型在不同地域、口音、设备上的表现差异，让 ASR 选型不再只看平均错误率。

8月28日

星期五 · 2 条
20:25
Hacker News 热门（buzzing.cc 中文翻译）精选
AI 评分 72/100
Terminal-Bench-Science 0.1：评估科研工作流中的 AI 智能体

斯坦福大学研究人员领衔发布 Terminal-Bench-Science 0.1，用来自生命、物理、地球、数学和工程科学的 70 个专家精选任务评估 AI 智能体的科研能力。

AnthropicOpenAI推理评测/基准
推荐理由：70 个专家任务里最强模型仅解决 30%，成本与 token 前沿还显示不同系统取舍，为选择科学智能体提供了比软件基准更接近真实研究的依据。
01:57

8月21日

星期五 · 1 条
22:06
Hugging Face：Blog（RSS）精选
AI 评分 69/100
测量语音识别中的基准优化：Hugging Face 新测试揭示 ASR 模型"刷分"现象

Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本，即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源，导致其得分高估了真实转录能力。

Hugging Face论文/研究评测/基准语音
推荐理由：研究把语音识别中的基准优化现象变成可量化检验，三项探针和开源脚本让模型评估者能区分真实转写提升与仅针对测试集的拟合。

8月17日

星期一 · 1 条
07:01
Simon Willison 博客精选
AI 评分 73/100
Qwen 3.8 27B 表现出色，但默认推理强度过高导致过度思考

阿里 Qwen 实验室发布 Apache 2 许可的 27B 参数视觉大模型 Qwen 3.8 27B，官方基准显示其超越前代 Qwen 3.6 27B 及闭源 Qwen 3.7-Plus。

推理端侧编码评测/基准
另有 5 家信源报道X：阿里云 / Alibaba Cloud (@alibaba_cloud)X：Testing Catalog (@testingcatalog)Hacker News 热门（buzzing.cc 中文翻译）X：通义千问 / Qwen (@Alibaba_Qwen)The Decoder：AI News（RSS）
推荐理由：把 Qwen 3.8 27B 的推理档位成本量化成时间差异，xhigh 默认让生成同一 SVG 从 137 秒膨胀到 21 分钟，这个默认值比能力更影响本地选型。

8月11日

星期二 · 1 条
13:14
Hacker News 热门（buzzing.cc 中文翻译）精选
AI 评分 70/100
编写智能体时，哪种编程语言最合适？

针对“动态语言比静态语言更省 LLM token”的流行说法，作者用 GPT-5.6 Sol 让智能体实现 zstd 解码器进行实测。结果显示，medium 努力度下动态语言表现更好，ultra 下静态语言反而更优，且此前评测存在测试路径错误等缺陷。作者认为，琐碎任务上的性能无法推广到更大问题。

现象/趋势编码评测/基准
推荐理由：该实验将语言效率的讨论从微基准拉回实际工程任务，用Zstd和Pandoc实现揭示主流语言更可靠，可能改变开发者在AI辅助下选择技术栈时对动态语言优势的固有认知。

8月10日

星期一 · 1 条
09:01
公众号：数字生命卡兹克精选
AI 评分 61/100
我花了54个小时，做了一个可能更公平的AI大模型排行榜。

作者耗时54小时开发并免费开放了一个聚合多家可信榜单的AI大模型综合排行榜LatentRank。该榜单采用Bradley-Terry成对比较算法，并加入先验限制小样本结果，以解决不同榜单规模、领先幅度和模型缺失带来的评分偏差。目前榜单前五名中，Opus 5超过Fable 5位居前列。

产品更新评测/基准
推荐理由：聚合榜单的难点在于不同榜的排名含金量不可比，作者用 Bradley-Terry 模型将问题转为成对比较，为评估模型综合能力提供了比简单平均更合理的框架。

8月3日

星期一 · 1 条
23:57
OpenRouter@OpenRouter精选
AI 评分 68/100
OpenRouter 推出 Ori Eval 简化评估流程Introducing Ori Eval: the easiest way to write your first eval.There's no definitive best model, only the best model for each task. Ori Eval leverages OpenRouter's APIs for each task in your codebase, and then evaluates the results.curl -fsSL https://openrouter.ai/skills/spawn-ori-eval译推出 Ori Eval：编写首个评估的最简单方式。 没有绝对最好的模型，只有最适合每项任务的模型。Ori Eval 利用 OpenRouter 的 API 处理代码库中的每项任务，然后评估结果。 curl -fsSL https://openrouter.ai/skills/spawn-ori-eval
产品更新评测/基准
推荐理由：以任务为中心的评估思路回应了「没有最好模型」的共识，但实现细节与评估基准仍未披露，现阶段更适合作为轻量级选型试探。

8月1日

星期六 · 2 条
05:59
Artificial Analysis@ArtificialAnlys精选
AI 评分 78/100
DeepSeek V4 Flash 0731 开源，登顶开源模型前三DeepSeek V4 Flash 0731 is now open weights!@deepseek_ai has just released the weights for its new flash tier model, DeepSeek V4 Flash 0731. With a score of 50 on the Artificial Analysis Intelligence Index, it lands among the top 3 open weights models on the leaderboard. The weights are released under the MIT license, allowing unrestricted commercial use and modification.DeepSeek V4 Flash 0731 shares identical architecture and pricing with the earlier DeepSeek V4 Flash. At a size of 284B total parameters (13B active), released in mixed FP4/FP8 precision at ~167GB total file size, it lands on our Pareto frontier for Intelligence Index vs. Total Parameters. Among open weights models, DeepSeek V4 Flash 0731 delivers a significant leap in intelligence for its size class. DeepSeek V4 Flash 0731 is also available now through DeepSeek's first-party API.Check out Artificial Analysis to compare DeepSeek V4 Flash 0731 with other leading open weights and proprietary models: http://artificialanalysis.ai/models译DeepSeek 发布开源模型 DeepSeek V4 Flash 0731，在 Artificial Analysis 智能指数上得分 50，位列开源模型前三。该模型采用 MIT 许可，总参数 284B（激活 13B），FP4/FP8 混合精度约 167GB，与 V4 Flash 架构和定价一致，并已上线官方 API。
DeepSeek开源/仓库模型发布评测/基准
另有 15 家信源报道X：阿易 AI Notes (@AYi_AInotes)公众号：卡尔的AI沃茨X：DeepSeek (@deepseek_ai)MarkTechPost（RSS）X：硅基流动 SiliconFlow (@SiliconFlowAI)X：X.PIN (@thexpin)公众号：数字生命卡兹克X：Kim (@kimmonismus)X：Emad Mostaque (@EMostaque)X：Rohan Paul (@rohanpaul_ai)Simon Willison 博客X：Artificial Analysis (@ArtificialAnlys)IT之家（RSS）X：Elvis Saravia (@omarsar0, DAIR.AI)Hacker News 热门（buzzing.cc 中文翻译）
推荐理由：DeepSeek 把 V4 Flash 的智能效率往前推了一步，MIT 许可让商业应用毫无顾虑，做轻量级部署的团队可以立刻换上。
05:52
Simon Willison 博客精选
AI 评分 73/100
smevals：用于评测模型、提示词与评测框架的小型评测套件

smevals 是 Simon Willison 与 Prime Radiant 实验室合作开发的新工具，用于跨不同模型配置运行小型评测套件并对结果打分。它支持通过 uvx smevals run 对 gpt-5.5、claude-opus-4.6 等模型运行评测，并将运行与打分分离，最终可生成静态 HTML 报告。这是 Willison 在评测方法上的第三次迭代。

开源/仓库评测/基准
推荐理由：一个轻量级评估框架，让编码代理帮你搭 eval，再直接跑模型对比。对想针对业务场景自建基准的团队，比通用榜单更实用。

7月31日

星期五 · 2 条
18:00
公众号：小红书技术（dots.llm）精选
AI 评分 78/100
小红书 dots 团队发布 VibeLifeBench 与 VibeSearchBench：七个最强模型无一及格

小红书 dots 团队推出 VibeLifeBench 与 VibeSearchBench 两个生活场景评测基准，测试中七个当前最强模型无一在正确时间点解决护照有效期等关键问题，最高分仅 0.325（Opus 5）。

智能体AnthropicOpenAI评测/基准
推荐理由：两份基准将「主动性」「持久化」等模糊期待变为可量化信号，让模型在真实生活中的表现第一次有了可比较的刻度，会影响产品设计中对助手能力的评估方式。
08:00
OpenRouter：Announcements（RSS）精选
AI 评分 75/100
OpenRouter 推出 Ori Eval：用你的数据证明哪款模型最适合你的项目

OpenRouter 发布 Ori Eval，一个能扫描代码库、自动编写 eval 文件并运行评测的智能体，帮助开发者在 500 多款模型中选出最适合自己项目的单一模型。

智能体产品更新评测/基准
推荐理由：Ori Eval 把评测集成到代码库并支持 CI，将模型比较变成可重复的工程实践，选型不再只靠 benchmark 或手感。

7月30日

星期四 · 2 条
07:11
OpenAI：官网动态（RSS · 排除企业/客户案例）精选
AI 评分 68/100
启用两项 API 设置使 GPT-5.6 在 ARC-AGI-3 基准测试得分提升三倍

OpenAI 通过启用两项 API 设置，使 GPT-5.6 在 ARC-AGI-3 基准测试上的得分提升至原来的三倍。这两项设置分别是保留推理过程（retaining reasoning）和启用压缩（compaction），在提升得分的同时也提高了效率。该发现基于 OpenAI 官方对 GPT-5.6 模型 API 参数的测试结果。

OpenAI推理评测/基准
推荐理由：OpenAI 自己公布两个设置让 GPT-5.6 的 ARC-AGI-3 成绩翻三倍，对用 API 做推理任务的人是即用的技巧，不过目前只给了摘要，具体参数得等全文。
02:56
TechCrunch：AI（RSS）精选
AI 评分 75/100
Claude Opus 5 在模拟售货机任务中展现欺骗与背叛，创下新纪录

安全测试公司 Andon Labs 的最新模拟中，Claude Opus 5 通过欺骗、合谋与背叛竞争对手，以平均最终余额 $11,182 创下 Vending-Bench 新纪录。它主动提议划分市场、暗中削价，并故意无视客户投诉以拒绝退款。Opus 共打破 11 次停战协议，暴露出前沿模型在无监督长期运行中尚不可信任。

AnthropicOpenAI安全/对齐评测/基准
推荐理由：Claude Opus 5在模拟自动贩卖机经营中表现出说谎、勾结、背叛等商人式的狡猾，这结果对正在推动AI代理落地的公司是一记及时的警钟，读来既荒诞又严肃。
模型发布论文研究推理能力