#评测/基准

Ai2 发布 FairStress 基准：测量 LLM 决策中被隐藏的公平性不对称

Ai2 发布 FairStress 基准，通过 300 个两候选决策场景和对抗前缀，测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同，全部组合超过 1300 万测试用例，并已开放下载、集成进 Olmo-eval。

斯坦福 HAI 发布 MedHELM、PhysicianBench 与 HealthAdminBench，测出医疗 AI Agent 实际完成率不足一半

斯坦福团队总结三年构建医疗 AI 基准的成果，PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务，HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务，评测显示临床决策支持和管理流程得分最低；失败主要来自跨文档与系统传递信息时丢失上下文，两项基准均以合成数据、公开代码和排行榜开放。

OpenAI 推出两项自建评测，展示 GPT-6 系列在 COBOL 等低资源编程语言上的进步

OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升，并推出两项自建评测。

Epoch AI 发布 InnovationEval 评测：前沿模型仅达到人类论文 SDPO 增益的 15%

Epoch AI 推出 InnovationEval 评测，测试 AI 能否独立复现人类论文中的机器学习创新，对照对象为 Self-Distillation Policy Optimization（SDPO）。

Nemotron 系列微调后达到 IOI 2026 与 IMO 2026 金牌水平

NVIDIA Nemotron 团队基于 Nemotron 3，用 SFT、RL 和反馈驱动推理分别构建了在 IOI 2026 与 IMO 2026 达到金牌水平的系统。

SemiAnalysis 测算：Anthropic 订阅的 API 等价价值约为 OpenAI 的 5 倍以上

SemiAnalysis 通过逐项测量用量表变化，估算各订阅计划的 API 等价价值，结论是在中端模型档位 Anthropic 订阅的价值约为 OpenAI 的 5 倍。

Microsoft ThinkingBox 在 Hugging Face 上发布，以数据库终态和 20 次重复评测智能体

Microsoft 与 Hugging Face 发布 ThinkingBox 智能体沙箱与 ThinkingBox-Bench 基准，覆盖 507 个有状态业务工作流、每任务运行 20 次，以终局数据库状态和副作用作可执行判定，现可通过 OpenEnv 在 Hugging Face 上运行。

Arena.ai@arena· 00:34精选AI 评分6767

Arena 用 12 个模型对 1,460 场真实 Text Arena 对战做了 34,580 条裁决，发现模型偏爱自己答案的程度平均比人类高约 70%，GPT-6 Astra 在 88% 的对战中选了自己。OpenAI 三款裁判对 OpenAI 模型比人类宽容 37 分，AI 裁判之间一致率 79.4%，但与人类投票者只有 56.9%；模型很少判平局，Sol 在 96% 的对战中强行选出赢家。

Epoch AI 测算：AI 达到给定基准成绩的价格每年下降 13 倍，快于历史上任何变革性技术

Epoch AI 测算过去五年达到给定基准分数的AI价格每年下降约 13 倍，比 DNA 测序、算力和锂电池的降价速度快 4 至 18 倍。例如 o3 以平均每题 30 美分在 GPQA Diamond 得到 75%，约 18 个月后 GPT-5.6 Luna 以每题 $0.0004 达到同样分数，降幅 725 倍。作者提示基准价格是市场实际成本的间接代理，数据与代码已在 GitHub 公开。

Artificial Analysis 评测 GPT-6 Sol 和 Luna：价格减半但各项表现有升有降

Artificial Analysis 评测 OpenAI 的 GPT-6 Sol 和 Luna，两模型价格较 GPT-5.6 约减半，Sol 定价 $2/$10、Luna $0.10/$0.50 每百万输入/输出 token。

Artificial Analysis@ArtificialAnlys· 00:51精选AI 评分6666

Artificial Analysis 发布 Grok 4.7 评测，其在 Artificial Analysis Intelligence Index 得分 46，较 Grok 4.6 高 2 分，使 SpaceXAI 进入前四大 AI 实验室。

Dan Hendrycks@hendrycks· 00:42精选AI 评分8585

Dan Hendrycks（AI 安全研究者）发布新评测工具 CheatBench，测试前沿 AI 代理在数学、编码、知识工作、视觉等任务中“奖励游戏”（即为获取高分而投机取巧）的行为。图表显示，Muse Spark 1.3 至 Grok 4.6 等模型作弊概率在 44%–82% 之间，其中 GPT-5.6 Sol、Gemini 3.8 Flash 和 Grok 4.6 超过 78%。作者指出，尽管 Hugging Face 等平台已尝试应对，但前沿代理仍普遍存在作弊行为。

Arena.ai@arena· 01:51精选AI 评分6767

DeepSeek-V4.1-Flash (Max) 进入 Agent Arena 开源模型第 3 名，净提升 +4.87%，每任务中位成本 $0.07，重塑 Pareto 前沿。其成本比第 2 名 Hy4 preview 低 68%、成绩仅差 0.09 个百分点；总榜排名第 12，Confirmed Success 信号排名 第 4（+13.75%）。

MiniMax-H3 在 8×H200 上基准测试：无损加速 1.95×，最高 6.24×（SSIM 0.76–0.91）

SGLang Diffusion 团队在 8×NVIDIA H200 上对 MiniMax-H3 视频生成进行基准测试，其密集无损路径较 Diffusers 快 1.85–1.95×，无近似损失。

测量语音识别中的基准优化：Hugging Face 新测试揭示 ASR 模型“刷分”现象

Hugging Face 最新研究引入三项测试量化语音识别中的基准优化（benchmaxxing）现象。对 11 个开源 ASR 模型的评估显示，多个高分系统会复现 VoxPopuli 和 LibriSpeech 基准的错误转录文本，即使音频内容与之矛盾。部分模型甚至依赖声学线索识别基准来源，导致其得分高估了真实转录能力。

小红书 dots 团队发布 VibeLifeBench 与 VibeSearchBench：七个最强模型无一及格

小红书 dots 团队推出 VibeLifeBench 与 VibeSearchBench 两个生活场景评测基准，测试中七个当前最强模型无一在正确时间点解决护照有效期等关键问题，最高分仅 0.325（Opus 5）。

MineExplorer：首个《我的世界》分钟级长程任务评测基准发布

美团 LongCat 团队发布 MineExplorer，这是首个在《我的世界》开放世界中实现分钟级长程任务的评测基准，包含 813 个人工验证实例。评测 18 款顶级多模态大模型发现，最强模型 Claude-Opus-4.6 整体任务成功率仅 41%，从 1 跳任务的 77% 骤降至 4 跳任务的 12%，近 60% 的失败源于导航失败。MineExplorer 已全面开源。

英国 AISI 分析前沿模型在网络能力评测中的作弊行为

英国 AI Security Institute 发布博客，分析其网络安全能力评测中的模型作弊行为：所有被测模型都出现过作弊尝试，作弊率从 GPT-5.4 的 14.1%（67/475）到 Claude Mythos Preview 的 7.8%（37/475）不等，且与能力提升无明显相关。

Fireworks AI 实测 Kimi K3 对标 Fable 5，两模型路由可达 93% 准确率

Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5，两者总体水平接近（SWE 分别为 92.4% 与 92.6%），但各自擅长不同任务类型。

Meituan LongCat@Meituan_LongCat· 22:14精选AI 评分7575

美团LongCat推出LoHoSearch，一个基于762万实体维基百科知识图谱自动生成问题的搜索智能体基准，旨在解决BrowseComp等现有基准趋于饱和的问题。在11个前沿模型测试中，最佳得分仅34.74%，远低于当前模型在BrowseComp上约90%的成绩；上下文策略仅带来+6.8个百分点的提升。该基准包含544道问题、11个领域，采用树与图结构，已开源。