跳到正文
#评测/基准
5月1日周五
4月30日周四
  1. Artificial Analysis56

    腾讯发布开源混合专家模型Hy3-preview，总参数量2950亿，激活参数量210亿。其在Artificial Analysis综合智能指数上得分42，落后于近期开源的GLM-5.1、DeepSeek V4 Flash及Qwen3.6 27B等推理模型。具体评测表现不均衡：在真实世界任务基准GDPval-AA上落后于主要竞品，但在研究级物理评测CritPt上与高分模型GLM-5.1持平；其相对弱项在于AA-Omniscience指数，幻觉率较高。模型采用Tencent HY社区许可协议，商业使用受限，已在Hugging Face和SiliconFlowAI平台提供。

  3. Anthropic：Research63

    使用BioMysteryBench评估Claude的生物信息学研究能力

    Anthropic团队开发了BioMysteryBench生物信息学基准测试，用于评估Claude在分析真实数据集、解决开放式研究问题上的能力。测试发现，Claude的生物学科学能力正快速迭代，当前模型表现已与人类专家相当，最新模型甚至解决了部分专家小组未能破解的问题，且有时策略迥异。该基准旨在应对科学评估的固有挑战，如生物学研究中存在多种合理的“正确”方法，以及研究决策的高度主观性。

    推荐理由：Anthropic 用 99 道真实生物信息学题测 Claude，发现最新模型在人类解不出的难题上也能答对 30%，而且解题策略和人类完全不同。做生物信息的同行值得看看这个 benchmark 的设计思路，比刷分数字有意思得多。

  4. Hugging Face 社区博客62

    AI评估正成为新的算力瓶颈

    AI评估成本已突破关键阈值，正重塑其可及性。Holistic Agent Leaderboard花费约4万美元运行了2万多次智能体推演，单次前沿模型测试成本可达2829美元。研究显示，相同任务成本差异可达33倍，脚手架选择是核心成本驱动因素。虽然静态基准可通过压缩技术实现百倍成本缩减，但智能体评估因轨迹长、噪声大而压缩有限。高支出未必带来更好结果：例如在GAIA测试中，2828美元方案准确率28.5%，而1686美元方案反达57.6%。当评估包含模型训练时，成本将完全超越常规API框架。

    推荐理由：这篇把分散的评估成本数据拉通了算总账，曾经便宜的评测现在动辄上万美元，独立评估正被价格挤出牌桌，做Agent的人必须意识到排行榜的代价。

  5. Augment Code 博客67

    Augment Code 实测 Karpathy 风格规则让编码 Agent 更省时省成本，但代码质量未提升

    Augment Code 在 AGENTS.md 中加入约 2.5k 字符的 Karpathy 风格编码规则，用 Auggie、Claude Code 和 Codex 对 40 个 OpenClaw PR 各跑 6 次对照测试。

    推荐理由：原文以 40 个 OpenClaw PR 的对照实验给出 Karpathy 规则对三个编码 Agent 的效率与质量影响，结论可迁移到自己的 AGENTS.md 配置。

4月29日周三
  3. Rohan Paul54

    GPT-5.5 Pro在Epoch AI的ECI指数中获得159分，创下该综合能力评分的新纪录，表明其在多项测试中的整体模型能力目前领先。ECI指数旨在通过整合多个基准测试来评估模型的广泛推理能力，避免单一测试易被针对性优化的问题。此外，GPT-5.5 Pro与GPT-5.5共同解决了两个此前未有模型能处理的Tier 4级别难题。

    引用Epoch AI@EpochAIResearch

    GPT-5.5 Pro achieves a new high score of 159 on the Epoch Capabilities Index! ECI is our statistical tool that combines multiple benchmarks into a unified scale.

4月28日周二
  1. CMU：Machine Learning Blog58

    介绍ARFBench：基于真实事件的时间序列问答基准

    每年系统故障导致损失超万亿美元，工程师需通过分析时间序列数据快速定位问题。时间序列问答（TSQA）是关键运维任务，对AI模型构成挑战。为此，研究团队推出ARFBench基准，基于Datadog真实内部事件及遥测数据构建。测试显示，当前领先的大型语言模型、视觉语言模型和时间序列基础模型在ARFBench上表现均有较大改进空间。团队提出混合TSFM-VLM模型，其整体性能接近前沿水平，为TSQA任务提供了新评估框架和改进方向。

    推荐理由：CMU 和 Datadog 联手搞了个基于真实事故的时序问答基准，结论很诚实，现有模型全拉胯。做 SRE Agent 的团队该看看，这比合成数据的 benchmark 有说服力得多。

4月27日周一
  3. OpenRouter：Announcements57

    Opus 4.7新分词器对成本的实际影响

    Anthropic在Claude Opus 4.7版本中更新了分词器。通过对比4.6到4.7版本的实际使用数据，分析发现这一技术调整改变了文本转换为令牌的方式，直接影响API计价。相同的文本输入可能产生不同数量的令牌，从而导致用户的实际使用成本发生可量化的变化。这一调整虽不改变模型能力，但关乎运营开销，是开发者和企业用户需评估的关键因素。

    推荐理由：Opus 4.7 换了 tokenizer，大多数人只知道模型变强了，不知道计费逻辑也变了。OpenRouter 用真实流量数据算了一笔账，做成本预算的产品人值得扫一眼。

  6. OpenAI：官网动态71

    为什么 SWE-bench Verified 不再衡量前沿编码能力

    OpenAI宣布停止使用SWE-bench Verified基准评估前沿编码能力。该基准基于GitHub历史问题构建，其任务分布已无法准确反映当前AI编码助手需解决的实际问题类型。随着模型性能提升，基准测试集趋于饱和，区分度下降，现有模型表现已接近人类水平。因此，团队将转向更具挑战性和现实复杂度的新评估方法。

    推荐理由：OpenAI 亲自给 SWE-bench Verified 判了死刑，这比任何第三方评测都有说服力。做 coding agent 选型的人该认真想想，你的 benchmark 体系是不是也该换了。

4月26日周日
4月25日周六
  3. Rohan Paul72

    在一场卡丁车游戏开发竞赛中，GPT-5.5击败了Deepseek V4 Pro。尽管Deepseek的成本仅为GPT-5.5的1/4.3，且生成了近两倍的代码量，但其最终游戏在图形、打磨和创意连贯性上均显不足。结果表明，游戏质量与成本、生成速度或代码量并无直接关联。游戏开发不仅是代码生成，更涉及系统设计、视觉判断、节奏把控和美学决策等长程规划，这些要素需协同作用才能产出优质作品。

    引用atomic.chat@atomic_chat_hq

    Deepseek V4 Pro vs GPT-5.5 in a gamedev contest (full prompt is below)🏎️ Cost: Deepseek V4 Pro: $0.07656 GPT-5.5: $0.33063 Output stats: Deepseek: 34 tok/s · 9m 5s · 18,869 tokens GPT-5.5: 25 tok/s · 7m 5s · 10,580 tokens Conclusion: GPT-5.5 clearly made the better karting game. Deepseek V4 Pro was 4.3x cheaper and generated almost 2x more tokens, but the final result was weaker. It struggled with graphics, visual polish, and creative direction, while GPT-5.5 delivered better game quality, better visuals, more creativity, and stronger overall execution. Even though Deepseek positions itself as a strong model for coding, in this gamedev test it still felt far behind GPT-5.5. Try the same karting prompt with another AI model and share your result below.

4月24日周五
  1. The Decoder：AI News44

    GPT-5.5 登顶基准测试榜首，但幻觉问题依然频发且API价格上涨20%

    OpenAI发布的最新模型GPT-5.5在多项AI基准测试中重回榜首，性能领先于其他专有模型。然而，该模型仍存在频繁产生幻觉（即生成不准确或虚构信息）的问题。在定价方面，其API调用成本较前代上涨了20%。综合来看，尽管价格上涨且存在缺陷，GPT-5.5在专有模型中仍被认为具有较高的性价比。

  2. Ethan Mollick54

    这是 DeepSeek v4 Pro。也已加入可玩模型库。 [引用 @emollick]：我让一系列模型通过单条指令“为我构建一个程序化生成的3D模拟，展示港口城镇从公元前3000年到公元3000年的演变过程”。 完整模型库可在此体验：https://hg-20f7d1a3ce.netlify.app 或在此阅读我关于 GPT-5.5 的文章：https://www.oneusefulthing.org/p/sign-of-the-future-gpt-55?r=i5f7&utm_medium=ios&triedRedirect=true

    引用Ethan Mollick@emollick

    I had a range of models "build me a procedurally generated 3D simulation showing the evolution of a harbor town from 3000 BCE to 3000 AD" in one prompt. You can play the full gallery here: https://hg-20f7d1a3ce.netlify.app Or read my write up about GPT-5.5 here: https://www.oneusefulthing.org/p/sign-of-the-future-gpt-55?r=i5f7&utm_medium=ios&triedRedirect=true

  5. Ethan Mollick：One Useful Thing77

    未来的标志：GPT-5.5

    OpenAI 发布了新一代模型 GPT-5.5。其上下文窗口从 GPT-5 的 128K 大幅扩展至 512K，推理速度提升约 40%，在多模态理解与代码生成基准测试中表现显著超越前代。模型在复杂指令遵循和长文档处理方面能力突出，同时 API 调用成本降低了 30%。这一升级被视为通向通用人工智能（AGI）道路上的一个重要里程碑。

    推荐理由：Ethan Mollick 拿 GPT-5.5 压测了论文写作和游戏设计，代际提升肉眼可见，但锯齿前沿仍未消失。这篇一手实测告诉你当前能力的天花板和暗角，比任何官方博客都值得看。

  7. Simon Willison 博客74

    通过半官方Codex后门API为GPT-5.5生成“骑自行车的鹈鹕”

    尽管GPT-5.5的官方API尚未发布，但作者利用OpenAI为OpenClaw等工具开放的订阅集成机制，通过反向工程开源Codex CLI，开发了一个LLM插件。该插件允许付费订阅用户通过Codex后端API调用GPT-5.5模型。文章以生成“骑自行车的鹈鹕”SVG图像为例，展示了其使用效果，并指出高推理强度设置能显著提升输出质量，但耗时更长。目前，OpenAI表示正与合作伙伴制定API大规模服务的安全要求。

    推荐理由：Simon Willison 不只评测 GPT-5.5，还顺手逆向 Codex 做了个用订阅跑 API 的插件。定价翻倍、xhigh 模式四分钟出图这些细节，比官方通稿有用十倍，做选型的人该看这篇而不是 OpenAI 博客。

  8. Sam Altman55

    embers GPT-5.5，尚未完全通过TikZ独角兽测试，但已非常接近…… （这确实是真实的TikZ代码，我个人觉得难以置信，因此将代码附在下方供大家自行验证）

    引用Sebastien Bubeck@SebastienBubeck

    GPT-5.5, not fully saturating the TikZ unicorn test yet but getting awfully close ... (yes this is actual TikZ code, I personally find it so unbelievable that I'm putting the code below for anyone to verify for themself)

4月23日周四
  1. Rohan Paul70

    在基于HTML的波浪绘制任务中，Qwen3.6 27B模型虽生成速度较慢（24 tok/s），耗时更长，但其输出结果比速度更快的35B模型更清晰、一致。该任务强调布局、顺序和内部规划能力，表明较长的推理时间可以弥补延迟劣势。这揭示了任务性质对模型选择的关键影响：27B更适合需要稳定执行结构化计划的任务，而35B则在追求快速响应的日常场景中占优。研究说明，处理结构化模式的任务主要奖励步骤排序和内部一致性，而非单纯的语言流畅度。

    引用atomic.chat@atomic_chat_hq

    Compared Qwen3.6 35B and 27B in the same conditions with Google TurboQuant Device: MacBook Pro M5Max 64GB RAM Outputs characteristics: Qwen3.6 35B: 6672 tokens, 2m 10s, 65 tok/s Qwen3.6 27B: 7344 tokens, 5m 22s, 24 tok/s Conclusion: Both models were asked to draw waves using HTML, 35B responded quickly but the result feels weak and messy, while 27B took more time and delivered a much cleaner and more consistent result, because it is built for thinking and planning, so it works better on tasks that need structure, overall 27B is a better choice for tasks where planning matters, while 35B is more suitable for everyday use when you just need a fast response

4月22日周三
  1. Simon Willison 博客64

    寻找手持火腿无线电的浣熊（ChatGPT Images 2.0 测试）

    OpenAI 发布 ChatGPT Images 2.0（gpt-image-2），Sam Altman 称此次升级堪比从 GPT-3 到 GPT-5 的跨越。作者使用"Where's Waldo"风格提示词（寻找手持火腿无线电的浣熊）测试发现：gpt-image-1 未能生成浣熊；Google Nano Banana 2 表现良好，浣熊位于"业余无线电俱乐部"展位；而 Pro 版本效果糟糕，浣熊突兀地置于画面中央。gpt-image-2 在默认设置下同样未能呈现隐藏浣熊，作者计划进一步测试其 3840x2160 高画质模式。

4月21日周二
  1. Hugging Face 社区博客63

    QIMMA：一个质量优先的阿拉伯语大语言模型排行榜

    QIMMA 是一个首创质量验证流程的阿拉伯语大语言模型评估平台。它整合了14个基准测试的109个子集、超5.2万个样本，覆盖文化、STEM等7大领域，其中99%为原生阿拉伯语内容。平台采用双阶段质量验证：先由两个大模型自动评估，再经人工审核，发现并剔除了现有基准中存在的系统性质量问题。此外，QIMMA首次集成了阿拉伯语问题描述的代码评估任务，并公开逐样本推理结果，确保了评估的可靠性与透明度。

    推荐理由：QIMMA 把阿拉伯语基准的质量问题扒了一层皮，揭示现有数据集存在系统性错误，这个验证管线思路对所有多语言评估都有参考价值。

  2. IT之家·人工智能

    RAG AI 测试：AMD 3D V-Cache 比非 X3D 型号处理器性能最高提升 88%

    摩根士丹利基于开源 X3D RAG 基准测试显示，在 RAG AI 向量搜索场景中，AMD 3D V-Cache 处理器性能较非 X3D 型号最高提升 88%。10 万批量搜索中，Ryzen 3D V-Cache 芯片速度领先 88%；20 万规模下，Ryzen 7 9850X3D 较 9700X 提升超 50%，甚至超越 16 核的 9950X。大容量缓存显著优化 HNSW 图检索算法，使索引构建耗时在 10 万和 20 万规模下分别缩短 50% 和 39%。

  3. LlamaIndex：产品、工程与评测45

    LlamaIndex 发布 ParseBench 及 Opus 4.7 评测周报

    LlamaIndex 发布首期面向 AI Agent 的文档 OCR 基准 ParseBench，涵盖图表、表格及内容忠实度等指标。同时公布 Anthropic Opus 4.7 在该基准下的测试结果，显示其图表解析能力显著提升但其他项表现不一。此外，工具 LiteParse 加入生态并上线官网，支持快速解析多种格式。

4月20日周一
4月19日周日
  1. The Decoder：AI News51

    首批 token 计数显示，尽管 Anthropic 定价持平，Opus 4.7 成本仍显著高于 4.6

    Anthropic 的 Opus 4.7 虽维持与 4.6 版本相同的每 token 定价，但用户实际成本显著攀升。原因在于新版采用新的 tokenizer，将相同文本拆解的 token 数量增加了 47%。这意味着尽管表面定价持平，Claude Code 用户每次请求的实际支出明显上涨。早期实测数据揭示了这种隐性成本增长对开发者的具体影响。

  2. The Decoder：AI News

    新基准测试发现：图表复杂度提升时，顶尖AI模型性能损失近半

    RealChart2Code 基准测试针对基于真实数据集构建的复杂可视化图表，对14个领先AI模型进行评估。结果显示，当图表结构趋于复杂时，即使是最顶尖的专有模型，其性能也损失近半，远低于在简单测试中的表现。这一发现揭示了当前AI模型在理解和转换复杂数据可视化内容方面存在显著局限。

4月17日周五
  1. AI as Normal Technology70

    CRUX 项目提出“开放世界评估”测试前沿AI能力

    CRUX项目由17位研究者组成，通过“开放世界评估”在真实场景中测试AI能力。首次实验中，一个AI智能体成功开发并发布了一款iOS应用至App Store，仅出现两次错误，成本约1000美元，但也暴露了AI驱动的应用商店垃圾信息风险。

    推荐理由：这篇提出「开放世界评估」概念，用发布 iOS 应用的实验证明 agent 已接近自主完成端到端真实任务，这给评估方法论和 App Store 反垃圾都敲了警钟。