跳到正文
#评测/基准
10月22日周四
10月21日周三
  3. meng shao66

    作者转述 @HamelHusain 关于决策模型做 LLM Evals 的博客：大多数从业者直接沿用 0.50 默认阈值，文章用 98 条真实生产 trace 对比五家决策模型，证明阈值调优、概率校准和成本-性能 Pareto 分析能带来可量化提升。

    引用Hamel Husain@HamelHusain

    New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://x.com/i/article/2112552453422104576

  7. Dongxi 东锡 NLP64

    Hamel Husain 发布新文章《How To Use Decision Models For Evals》，讲解如何为任务选择决策模型、调优阈值（提醒不要默认 0.5）并解读分数，配有交互式图表。

    引用Hamel Husain@HamelHusain

    New blog post 🎉: How To Use Decision Models For Evals In this post, we show you how to choose a decision model for your task, tune its threshold (don't assume the 0.5 default is good!), and interpret its scores. Lots of cool interactive charts here. https://x.com/i/article/2112552453422104576

  9. Arena.ai60

    Arena 宣布 Meta 的 Muse Wonder Full (Max) 在 Agent Arena 排名第 7，净提升 +11.3%，基于超 6.5K 真实智能体会话，将 Meta 推至实验室第 4 位。

    引用Arena.ai@arena

    Exciting news: Muse Wonder Full (Max) by @AIatMeta has just debuted in the Code Arena: WebDev at #6 overall with 1726 pts, putting Meta in the top 3 labs! This is +75 pts and 11 places above Muse Wonder (Max) at #17 (1651 pts), and +67 pts and 8 places above Muse Spark 1.3 (Max) at #14 (1659 pts). Muse Wonder Full (#6) also landed +16 pts above Claude Sonnet 5.5 (#17), and +48 pts above Gemini 4 Argon (#10). With this score, Muse took the #3 lab spot (previously held by Google). Across categories, Muse Wonder Full (Max) landed: - #4 in Data & Analytics and in Consumer Product - #5 in Brand & Marketing - #6 in Content Creation Tools - #7 in Gaming and in Simulations - #8 in Reference-Based Design Congrats to the @AIatMeta team and @alexandr_wang on this release!

  11. Arena.ai57

    Arena 更新 Agent Arena Pareto 前沿，OpenAI 的 GPT-6 Luna 和 GPT-6.1 Sol 在不同推理档位下占据 11 个前沿位置中的 6 个，加上 GPT-6 Astra (Max) 共 7 席。

    引用Arena.ai@arena

    Update to the Agent Arena Pareto frontier: GPT-6 Luna (Max) has landed on the Agent Arena Pareto frontier with +1.59% net improvement at a median cost of just $0.05 per task! Luna costs 29% less than DeepSeek-V4.1-Flash and 76% less than Hy4 preview, while trailing their net-improvement scores by just 2.27 and 2.51 percentage points respectively. Compared to other GPT models on the Pareto frontier, GPT-6 Luna (Max) costs 94% less than GPT-6 Sol (Max), and 98% less than GPT-6 Astra (Max). Congrats to the @OpenAI team on this cost-efficient release!

  12. fal68

    fal 发布与 Black Forest Labs 合作后训练的视频模型 FLUX 3 Max，在第三方独立人类偏好评测中获 1139 Elo，与 Seedance 2.5 并列图生视频质量第一梯队。该模型约 12 秒生成一段 10 秒 720/768p 视频，未来三周降价 75%，后续还将继续后训练改进。

    引用fal@fal

    隆重推出 FLUX 3 Max，这是 fal Research 与 @bfl_ai 合作推出的最新后训练视频模型。 在独立第三方基准测试中，FLUX 3 Max 在图生视频质量上并列第一，可在约 12 秒内生成一段 10 秒、720/768p 的视频。 在接下来的三周内，FLUX 3 Max 享受 75% 折扣，使其成为同等质量水平下最实惠的前沿视频模型。

    推荐理由：原文给出第三方 Elo 分数和生成速度数据，读者可据此判断该模型在图生视频梯队中的位置。

  16. Hugging Face 社区博客60

    Ai2 发布 FairStress 基准，测出 LLM 决策中的反刻板印象过度纠正

    Ai2 发布 FairStress 基准，用 300 个场景扩展成超过 1300 万测试用例，测量大语言模型在高风险决策中面对对抗前缀时的公平性。评测发现模型在身份信息显式时更易放弃支持少数群体编码候选人的正确决策，平均放弃差距为 6.9（隐含身份）至 9.3 个百分点（显式标签）。基准已开放下载并集成到 Olmo-eval，测试的九种去偏方法中仅反事实链式推理在保留准确率的同时缩小差距。

  19. Artificial Analysis39

    同一实验室的模型往往具有相似的人格画像，不过有些实验室存在明显不同的子群。 按30项人格特质对模型进行聚类，可得到三个自然形成的家族：Anthropic 模型与 OpenAI 的 GPT-6 模型归为一类，Google 模型与 Meta 的 Muse 模型归为一类，较早期的 OpenAI 模型则与 Llama 4 Maverick 同属一类。下文我们将逐一拆解各实验室内部的子群。

  22. Ai2 / Allen Institute for AI61

    Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称

    Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。

    推荐理由：Ai2 用对抗前缀测出模型在人口群体之间的决策不对称，并发现多数去偏方法不可靠，提供了诊断与改进思路。

10月20日周二
  1. 🚨 AI News | TestingCatalog49

    Krea 3 Ultra 在 Artificial Analysis 图像编辑榜以 1151 分位列第 4，仅落后 Google 的 Nano Banana 2.1 一分；Krea 3 Fast 以 1125 分排第 11，反超 Nano Banana 2 一分。

    引用Krea@krea_ai

    today, Krea 3 makes it to the top of image arenas. - "Fast" pushes the pareto curve of speed and quality. - "Ultra" ranks top-4, only surpassed by OpenAI models. the only company valued under $1T in the top-10! more below 👇

  2. Nathan Lambert30

    防御性网络安全方面可能也很出色，但没人会发这种内容来博眼球！

    引用Vals AI@ValsAI

    We found DeepSeek V4.1 Flash 1017 beats GPT 6 Sol on our multi-step offensive cybersecurity task. Sol was tested via the Daybreak trusted access program. We have been building a cybersecurity benchmark based on simulated corporate networks. This is a valuable indicator for the cyber-risk a model poses if in the hands of a bad actor. We plan to make the full evaluation public in the coming weeks but wanted to share our first immediate finding here.

  13. Stanford HAI News67

    斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

    斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。

    推荐理由：斯坦福团队基于三年基准构建经验给出实测结论，最好的医疗 Agent 完成任务不足一半，失败多源于跨系统信息传递。