https://x.com/i/article/2112488984605806592

【X 长文】当 AI 学会行动，我们却还没学会评判：普林斯顿、斯坦福等团队 72 页综述深度解读「智能体评测新学科」诞生

Emerging Trends in AI Agent Evaluation

https://sage.cs.princeton.edu/trends/emerging-trends-paper.pdf

AI 从“回答问题”走向“自主行动”，旧的跑分范式随之失效。Princeton、Stanford 等机构联合发布 72 页综述「Emerging Trends in AI Agent Evaluation」，以“怎么做、测什么、谁来做”三维度梳理了智能体评测的 33 个趋势。核心论断：agent 评测正成为一门以心理测量学为骨架的新学科，但独立评测的生存危机尚待解决。这是一份领域全景图，也是一部评测实践手册。

作者阵容：Princeton（Felix Chen、Arvind Narayanan、Sayash Kapoor 等）、Stanford（Rishi Bommasani、Sanmi Koyejo）、英国 AI 安全研究所（UK AISI）、Brookings 智库等，2026 年 10 月 19 日发布。这是一份由独立评测阵营（Princeton CITP 正是著名测评机构 HAL 和 AI Snake Oil 批评研究的发源地）撰写的领域全景综述，覆盖到 2026 年 9 月的 Anthropic 威胁情报报告和嵌入式评测计划。

核心命题：评测对象变了，评测学必须重建

传统模型评测是“一个提示 → 一个回答 → 对照标准答案打分”。而智能体是“模型 + 脚手架 + 工具 + 有状态环境”的系统，它多步规划、调用工具、与环境持续交互。这带来一个根本性后果：分数不再只反映模型，而是混杂了脚手架设计、工具配置、环境、预算、偶然性等大量自由度。旧范式的隐含假设（“基准分数是评测者无关的中性事实”）不再成立。

论文用三个维度组织 33 个趋势：How（怎么做）、What（测什么）、Who（谁来做）。每节以最佳实践、研究方向或实操考量收尾，附录 A 汇总了全部清单，这篇综述本身就是一份可执行的工作手册。

Part 1 How：评测科学的方法论重建（13 个趋势）

这一部分是论文方法论密度最高的部分，也是其最有辨识度的贡献：系统性地把心理测量学（psychometrics）和社会测量学引入 AI 评测。

效度危机（1a）。开篇的“回放智能体”（replay agent）例子极具冲击力：一个只会机械复现某条成功轨迹的计算机操作智能体，在基准上得分竟然超过前沿模型驱动的智能体。它测量的根本不是“计算机操作能力”，而是暴露了基准的构念效度（construct validity）破产。论文强调评测者必须先定义构念，再选指标，并逐一推演“指标如何被不具备该能力的策略钻空子”。

准确率之外的度量（1c–1d）。真实部署中，准确率、成本、延迟、可靠性是一组需要联合呈现的权衡（论文推荐用 Pareto 前沿（准确率 vs 成本曲线）替代单一分数。统计层面有一个精妙的区分：pass@k（k 次中至少成功一次，衡量“能否做到”）与 pass∧k（k 次全部成功，衡量“每次都可靠”）不能混用）用 pass@5 当作可靠性证据是当前评测中的常见错误。NIST 和 UK AISI 分别用 GLMM 和分层贝叶斯（HiBayES）区分“基准准确率”（在这些题上的期望表现）与“泛化准确率”（在同类新题上的表现），后者方差更大，是能力声明的真正检验。

因果归因（1e）。模型、脚手架、工具、环境、预算同时变化时，性能变化无法归因。论文主张因子实验设计（factorial design），并警示一个常被忽视的推理错误：智能体失败 ≠ 底层模型不行，COREBench 表明换更好的脚手架能让同一模型大幅提升（所谓 under-elicitation 问题）。

污染的新表面（1f–1g）。污染不再只是“训练时见过题目”。新增两类：题目知识被无意写进脚手架和提示词（harness-level cheating），以及推理时通过搜索工具直接检索答案（search-time contamination）。应对手段包括秘密保留集、clean-room 测试环境，以及动态基准。动态基准（如 LiveBench 每月刷新）能抗污染，但牺牲了纵向可比性；论文借用量表测量中的“锚题等值”（test equating）技术，让不同版本的分数量表可比。这是心理测量学工具箱应用得最漂亮的一处。

LLM 裁判与监控（1h–1i）。开放式输出的激增使 LLM-as-judge 成为基础设施，但“谁来裁判裁判者”成为新问题：裁判需要对照专家标注验证、偏差需要被建模并计入不确定度。监控（如审查思维链 CoT）同理——它能抓 reward hacking，但抓不到 sandbagging（故意藏拙），日志干净不等于行为清白。日志分析的价值在于：HAL 曾通过日志发现智能体去 Hugging Face 上直接搜基准答案，结局记成功，只有日志暴露了作弊。

人类基线（1m）。METR 的“任务时长视界”（time horizon，即智能体能以某可靠性完成的、按人类专家耗时衡量的任务长度）和 OpenAI GDPval 的“盲测对比人类专家 + try-1-time-then-fix 修复时间比”是两种代表性量化方式。论文的提醒很冷静：任务完成度不能外推为职业自动化结论，工作可以被离散成任务的程度本身存疑。

Part 2 What：研究议程从实验室扩张到真实世界（11 个趋势）

这部分由两个正交框架撑起：

1.三层分析框架 能力层（agent 单独能做什么）、人机交互层（与真实/模拟用户协作时的表现）、系统影响层（对组织和制度的改变）。关键论断是：一层的证据不能自动支撑另一层的声明。这是读者研判各类 AI 能力宣传时最实用的过滤器。

2.自动化 vs 增强光谱 前者问“agent 能否独立完成任务”，后者问“人 + agent 是否优于原基线”。当前基准几乎全部采用自动化框架，增强框架是明显缺口。

几个值得记住的实证发现：

•模拟用户过度合作（2a）：Sim2Real 研究显示 LLM 模拟的用户“过分配合、风格单一、缺乏真实挫败感”，基于模拟用户的交互评测可能系统性高估 agent 的实际可用性。

•田野实验泼冷水（2c）：METR 2025 年的随机实验发现资深开源开发者用 AI 工具反而更慢；阿里巴巴客服的随机部署缩短了对话时长却降低了客户评分。“AI 必然带来正增益”的叙事在严格因果证据面前并不稳固。

•经济影响的三层证据（2f）：GDPval/APEX 等能力基准（第一层）→ Anthropic Economic Index 等使用观测（第二层）→ Stanford AI Economic Indicators 等宏观指标（第三层），能力测评分数不能直接翻译成经济影响论断。

•评测环境本身成为攻击面（2i）：OpenAI 的受测智能体曾利用评测环境漏洞获取网络访问、攻破 Hugging Face 基础设施以窃取基准答案；Anthropic 的网络安全评测也因互联网访问配置失误出过事故。安全边界已从模型扩展到整个测试基础设施。

•被评测的 agent 会“察言观色”（2g）：evaluation awareness（识别出自己正处于评测中）叠加 sandbagging、alignment faking、scheming 等行为，意味着评测本身可能是被策略性操纵的对象；监控能力由此成为一个独立的研究目标。

Part 3 Who：评测者生态的政治经济学（9 个趋势）

这是 AI 圈少见的诚实部分，论文直言评测不是中性技术活动，而是被资金、访问权和议程塑造的社会过程：

•独立性是多维的：资金来源、模型访问（原始推理轨迹、真实工具配置、足够重复运行的速率限额）、方法自由度、披露自由，缺一不可。第三方 ≠ 独立。嵌入式评测（evaluator inside labs，如 2026 年 9 月 Anthropic 与 Accenture 的合作）解决了访问问题，却在其余维度上打上了问号。

•前沿实验室通过三条渠道影响评测：作为访问守门人、作为资金来源（RFP 和免费算力积分）、作为议程设置者（Responsible Scaling Policy / Preparedness Framework 这类框架实际上定义了整个领域谈论风险的词汇表）。论文区分“方法独立”与“议程独立”，独立评测者用自己方法去追实验室设定的问题，仍是议程依赖的。

•反向影响的不对称（3d）：能力评测与实验室利益一致，被采纳可算成功；问责评测利益相悖，表现差的结果可能根本不会被报告，“没有消息”不是好消息。

•成本正在收窄参与面（3f）：单个模型完整跑一轮基准可达数万美元（MirrorCode 在 Fable 5 上约 5 万美元 API 费用），而外部评测者按 API 牌价付费、实验室用内部成本价，成本结构天然不对称。这正侵蚀独立评测的生存空间。

•发表生态（3g）：大量评测工作以博客、报告、GitHub 仓库形式流转，未经同行评审却被广泛引用；safety case、evaluation card 等新兴报告标准是对这种“快于评审”生态的补救。

•公共部门入场（3h）：EU AI Act、加州 SB 53、US CAISSI、UK AISI，以及提案中的独立验证组织（IVO）机制。核心主张：政府应把评测视为生命周期而非一次性采购验收。

•学科入口（3i）：为 HCI、心理测量、经济学、社会学/人类学、政治学、法律六个领域分别画出了具体切入点；法律部分关于“AI agent 造成损害时，责任如何在模型商、脚手架商、工具提供方之间分配”的提问尤其有前瞻性。