评测基准 最新动态

GPT-5.2 在理论物理中推导出新结果

GPT-5.2 提出了一种胶子振幅的新公式，该结果随后由 OpenAI 与学术合作者正式证明并验证，相关内容见预印本论文（https://openai.com/index/new-result-theoretical-physics）。

7 款 AI 登陆页面生成器实测对比：Manus、Base44、Aura 等

Manus 博客用同一个 QuillSpark 产品发布页提示，实测并对比 7 款 AI 登陆页面生成器，按设计质量、文案、生产就绪度、免费发布和自定义等标准评分。

量化智能体编码评估中的基础设施干扰

研究发现，在SWE-bench等智能体编码基准测试中，基础设施配置差异对模型评分的影响，可能超过排行榜上顶尖模型之间的微小分差。内部实验显示，在Terminal-Bench 2.0上，最严格与最宽松的资源设置间成功率相差6%。严格限制资源会导致近6%的任务因容器意外终止而失败，而宽松配置下此类错误率可降至0.5%。当资源余量超过基准规格3倍时，智能体甚至能借助额外资源成功完成原本无法解决的任务。这表明评估环境不仅影响测试稳定性，更会改变基准测试实际衡量的能力维度。

Community Evals：因为我们不再信任黑箱排行榜胜过社区

LMSys 推出了社区驱动的评估框架 Community Evals，旨在通过开源和开放科学推进人工智能民主化。该框架允许社区贡献和审查评估案例，以透明、可复现的方式测试模型。此举旨在改变依赖少数机构“黑箱”排行榜的现状，让更广泛的社区参与定义和衡量AI模型的能力与价值。

Kimi 供应商验证器

Kimi 发布 K2.5 模型时开源 Kimi Vendor Verifier（KVV），用于验证第三方推理实现的准确性。针对开源模型部署渠道多样化导致的质量失控问题，KVV 提供六项关键基准测试，覆盖参数约束验证、多模态流水线、长输出压力测试、工具调用一致性及编程能力评估。项目与 vLLM/SGLang 社区合作修复根因，并提供预发布验证和实时更新的公开排行榜。完整评估在双 H20 8 卡服务器上约需 15 小时。

AssetOpsBench：弥合AI智能体基准测试与工业现实的差距

IBM Research在Hugging Face发布AssetOpsBench，这是一个工业资产运维的AI智能体基准测试框架。它基于真实场景构建，包含多行业数据集和超1000个运维事件，通过多阶段指标测试智能体的诊断、决策等能力，注重动态适应性、多模态处理和安全推理，以推动AI智能体走向实际工业应用。

2026年十大AI视频生成器实测比较：从Runway到Manus

Manus博客发布2026年十大提示到视频AI生成器评测，用同一条东京雨夜巷子的提示测试Runway (Gen 4.5)、HeyGen、OpenAI Sora。

揭秘AI智能体评估：构建可靠系统的关键

有效的评估能帮助团队更自信地发布AI智能体，避免陷入仅在生产环境被动发现问题、修复可能引发新问题的循环。智能体因其多轮操作的自主性与灵活性，评估更为复杂。一个完整的评估结构包含任务、评分器、记录、结果、评估框架与评估套件等核心组件。缺乏系统评估将导致团队无法区分真实的质量倒退与随机波动。建立评估体系能帮助团队在智能体规模化过程中持续监控质量、自动测试变更并量化改进效果，其价值在智能体整个生命周期内持续累积。

Dan Hendrycks@hendrycks· 00:05精选AI 评分7878

AI 安全研究者 Dan Hendrycks 在 X 上发布对 Claude Opus 4.5 与 Google Gemini 3 的横向评测，包含文本、视觉与安全三个维度的指数得分。结果显示：在控制推理令牌数后，两者文本能力相当；Gemini 3 在图像/视觉任务上显著领先；而 Opus 在对抗性测试（如越狱、诚实性）中表现更优。图表显示了 7 模型的文本能力（Gemini 3 Pro 47.6 领先）、视觉能力（Gemini 3 Pro 57.1 最高）及安全指数（Opus 33.6 最低，即最安全）。

Open ASR 排行榜新增多语言与长格式赛道，揭示模型性能新挑战

Hugging Face 的 Open ASR 排行榜新增多语言和长格式语音识别评估赛道。多语言赛道涵盖8种语言，长格式赛道则测试模型处理连续数分钟语音的能力。新榜单显示，领先模型在多语言任务上的词错误率平均比专用单语模型高约15%，在长格式任务上错误率可能上升超20%，凸显了模型在实际应用中的泛化能力仍面临严峻挑战。

Dan Hendrycks@hendrycks· 00:53精选AI 评分8585

AI 研究者 Dan Hendrycks 在 X 上宣布发布「文本能力指数」与「视觉能力指数」两个新基准，用于追踪 AI 模型进展。图表显示 Gemini 3 Pro 在两项指标中均显著领先，文本能力得分 46.5，视觉能力得分约 57；其性能跃升幅度被作者称为‘长期最大飞跃’。榜单共涵盖 7 模型，包括 GPT-5.1、Sonnet 4.5、GroK 4 等。

Hugging Face 发布 BigCodeArena：通过代码执行评判代码生成模型

Hugging Face 推出 BigCodeArena，一个通过真实代码执行进行人类评估的代码生成模型对比平台，支持 10 种语言和 8 种执行环境，无需注册即可使用。

TensorZero 实测 OpenAI 强化微调（RFT）是否值得：仅智能体编码任务明显胜出，成本却是 SFT 的 100-700 倍

TensorZero 在数据抽取、智能体编码和客服三个任务上对比了 OpenAI RFT（o4-mini）与 SFT（GPT-4.1 mini）。

Meta 发布 Gaia2 基准与开源框架 ARE，聚焦真实世界智能体评估

Meta 在 Hugging Face 发布 GAIA 的后续基准 Gaia2，以及开源评估框架 Meta Agents Research Environments（ARE，MIT 许可），Gaia2 数据集采用 CC BY 4.0 许可。

Noam Brown@polynoamial· 01:38精选

OpenAI 推理系统在 2025 ICPC 世界总决赛中获得 12/12 满分，成绩相当于人类参赛者第一名。其中 11 道题目由 GPT-5 解决。

OpenAI@OpenAI· 01:35精选

OpenAI 推理系统在 2025 ICPC 世界总决赛中解出全部 12 道算法题，获得 12/12 满分。该成绩在所有人类参赛队伍中排名第一，足以夺得冠军。

Jakub Pachocki@merettm· 01:17精选AI 评分7777

OpenAI 推理系统在 2025 年 ICPC 世界总决赛中满分 12/12 完成所有题目，成绩超越所有人类参赛队伍（最佳人类队伍解出 11 题）。这是其模型近两个月内继 AtCoder Heuristics 世界亚军、IMO 金牌、IOI 金牌后的第四项顶级竞赛佳绩。OpenAI 首席科学家表示，下一步挑战是解决更开放、时间跨度更长的问题。

Google DeepMind@GoogleDeepMind· 01:09精选

Gemini 2.5 Deep Think 进阶版在 ICPC 2025 世界编程大赛中取得金牌水平成绩。继 IMO 数学竞赛后，这是该模型在竞技领域取得的又一历史性突破。

Microsoft 发布 MAI-DxO 诊断研究，在 SD Bench 上诊断准确率达 85%，超过医生四倍

Microsoft AI 发布 MAI-DxO 诊断编排器研究，在由 304 个 NEJM 病例构建的 SD Bench 序贯诊断基准上，最高正确诊断 85% 的病例，是受测经验丰富医生组的四倍以上，且花费更低。研究基于 2024 年底启动的消费级健康项目，目前仅为研究演示、未获临床使用批准，论文以预印本形式发布并正在提交外部同行评审。

Saining Xie@sainingxie· 09:33精选

所以这不是一个针对软件工程智能体的基准测试。它旨在通过编程测试核心推理与智能——由一些顶尖竞技程序员撰写的 71 页深度分析作为支撑。