企业AI智能体评估存在“现实对齐”缺口：半数组织曾将通过内部测试的智能体部署到生产环境后导致客户故障

在 157 家企业中，各组织正赋予 AI 智能体更多自主权，却对用于把关这些自主权的评估越来越不信任。半数企业已经上线过某个智能体——它通过了内部评估，随后却在生产环境中让客户遭遇失败；如今只有二十分之一的企业完全信任自动化评估；而被提及最多的缺陷是评估与真实世界的结果不一致。然而，三分之二的企业已经允许、或正在积极朝着仅凭自动化评估就将智能体变更部署到生产环境的方向推进——全程无人在环。其结果就是一道评估鸿沟——企业赋予智能体的自主权程度，与他们对这些本应捕捉失败的测试的信任程度之间的差距。

本期 VentureBeat Pulse Research 调研考察技术领导者如何衡量智能体表现：他们使用哪些可靠性与评估平台，如何选择并信任这些平台，生产环境中会出现哪些故障，以及他们愿意让智能体在多大程度上无人在环地自主运行。

核心发现是一道评估鸿沟——企业赋予智能体的自主权，与他们对其用于治理这些自主权的评估所寄予的信任之间的差距。半数组织（50%）在过去一年中曾部署过某个智能体或 LLM 功能，它通过了内部评估，随后却引发了面向客户的故障，而四分之一组织见过这种情况发生不止一次。对测试本身的信任十分薄弱：只有 5% 表示他们如今完全信任自动化评估，而被提及最多的单一局限是评估与真实世界结果的一致性很差（29%）。企业正逐渐发现，评估通过并不等于智能体真正可用。

让这一差距产生实际后果的，是其演进方向。三分之二的组织（66%）已经允许对低风险智能体进行完全自动化、无人在环的部署（34%），或者正在积极改造其流水线，以便在十二个月内实现这一点（33%）。与此同时，本应赢得这份信任的评估体系却支离破碎且不成熟：最常见的主要工具是模型提供商的原生评估，与完全没有专用工具并列（各占 17%）；而且只有约四分之一的企业对线上生产流量进行实时质量检查。自主性的到来快于保障能力的到位。

方法论

VentureBeat 将本次调查作为其持续进行的 Pulse Research 系列的一部分开展，本次调查——智能体可靠性与评估追踪——聚焦于技术领导者如何评估智能体的性能与可靠性。回复经过筛选，仅限员工人数在 100 人及以上的组织（n=157），数据来自 2026 年 6 月的一次单一调查；由于这是单轮调查而非多个月汇总的样本，本报告以横截面方式解读，不推断逐月趋势。在问题为多选的情况下，这些占比之和可能超过 100%。

按角色划分，样本以资深人士为主，且具备采购话语权：38% 是 AI 采购的最终决策者，另有 34% 是推荐者或影响者。产品与项目经理（15%）、顾问与咨询师（10%）、工程/IT 总监（8%）、CIO/CTO/CISO（8%）在所列职位中占比领先，此外还有一大类“其他”职能（37%）。按组织规模划分，样本以中型市场为主：100–499 人（37%）和 500–2,499 人（27%）领先，其上依次为 2,500–9,999 人（20%）、10,000–49,999 人（10%）和 50,000+ 人（6%）。科技/软件是最大的行业，占 23%，其次是零售/消费品（15%）、医疗健康/生命科学（12%）和制造业（10%）。

在 157 名受访者的情况下，样本量足以看出方向性趋势，但应被视为方向性信号，而非精确测量；该样本为自我选择，并非概率抽样。样本偏向中型市场，因此最好将其理解为正在积极建立智能体评估实践的组织的观点，而非来自最大规模运营方的观点。

注：本次调查是在早前“LLM 可观测性与评估”调查的基础上为 6 月这一轮重建的；由于问题和样本不同，因此不与 4 月至 5 月的数据进行比较。

发现 1：通过评估不等于智能体真正可用

有一半人曾上线过通过了评估、随后却在客户那里失败的智能体

我们询问了在过去 12 个月中，组织是否曾部署过某个 AI 智能体或 LLM 功能，它通过了内部评估，但随后引发了面向客户的故障。在那些开展评估的组织中，有一半曾遇到过这种情况。

这是这份报告最具标志性的数字。一半的组织（50%）曾上线过某个 AI 功能，它通过了内部评估，随后却在客户面前失败——输出错误、工作流中断，或质量事故——而四分之一曾不止一次遇到这种情况。只有 36% 报告没有发生此类故障，其余的组织要么不开展部署前评估（8%），要么对根因追踪得不够紧密而无从得知（6%）。这种失败既精确又代价高昂：评估说智能体已经就绪，而它并没有。接下来的一切——企业如何信任其评估、监控什么、授予多少自主权——都受到这一经历的塑造。

发现 2：几乎没有人完全信任自动化评估

最主要的抱怨：评估与真实世界的结果不匹配

我们询问了如今哪一项局限最削弱人们对自动化智能体评估的信任。只有极少数企业完全没有任何抱怨。

对自动化评估的信任既稀缺又具体。只有 5% 的组织表示，他们完全信任当前的自动化评估——这意味着 95% 的组织都指出了某个阻碍他们的局限。其中最常见的局限占 29%，也最能直接解释发现 1：评估与真实世界结果的一致性很差，会让智能体通过评估，之后却失败。紧随其后的是偏见或不一致（21%）以及缺乏可解释性（18%）——企业并不总能判断一项评估为何得出其结论——另有 17% 提到评估过程本身存在数据泄露或隐私担忧。那些本应用来认证智能体的测试，尚未被信任能够认证它们，而这正是发现 3 中的自主性轨迹如此引人注目的原因。

发现 3：自主性上限无论如何都在上升

三分之二的组织已经允许，或正在朝着零人工部署迈进

我们询问了组织是否会仅凭自动化评估结果，就让自主智能体将代码或系统变更部署到生产环境，而无需任何人在环验证。其轨迹径直穿过信任缺口。

报告的核心存在这样一个悖论。尽管几乎没有人完全信任自动化评估（发现 2），但三分之二的组织（66%）要么已经允许对低风险智能体进行零人工介入的部署（34%），要么正在积极改造其流水线，以便在一年内实现这一目标（33%）。只有 22% 的组织在未来可预见的时期内排除了这一做法。方向是明确的：企业正在转向让评估自主地把关生产——移除人工检查——而与此同时，他们又说这些评估并不能可靠地反映现实。自主性的上限上升得比其下方的保障更快，而这正是发现 1 中那些虚假信心失效将随之扩大而非缩小的机制所在。

值得注意的是，这场自主性押注并非只是小公司的现象。按公司规模对样本进行划分后，大型企业在迈向零人工审核的道路上比小公司走得更远一些（70% 对 64%），也更有可能已经上线过一个通过评估、随后却在客户面前失败的智能体（54% 对 48%）。那种认为大型、受监管的组织会将人工保留在环路中时间最长的假设，在这个样本中恰恰是反过来的。需要说明的是，这些只是方向性的数字，因为本次调查的样本并不大——来自员工数 2,500+ 公司的受访者有 57 位，来自规模更小公司的有 100 位。

发现 4：评估技术栈碎片化，且由提供商主导

提供商原生评估工具领先——与完全没有专用工具并列

我们询问了企业目前主要使用哪个智能体可靠性或评估平台。这个市场没有明确的领导者——而且很大一部分企业根本没有任何专用工具。

评估层尚处早期且格局未定。厂商原生工具处于领先地位——OpenAI 的原生评估与追踪（17%）和 Anthropic 的 Claude Console 评估（13%）合计超过了任何独立平台——但它与一个引人注目的答案并列榜首：17% 的企业完全没有任何专门的智能体评估工具，对于向客户交付智能体的组织来说，这是一个显著的缺口。专业评估厂商——DeepEval（12%）、Braintrust（8%）、LangSmith、Weave、Promptfoo、Langfuse、Arize——分散在个位数到低两位数之间，另有 11% 的企业自建了评估工具。目前尚无独立平台成为该品类的标准，这使得大多数企业只能用厂商原生工具、自研脚本，或者什么都没有来评估智能体。

发现 5：生产环境监控很少关注输出质量

只有四分之一对线上流量运行实时质量检查

AI 智能体的生产环境监控可以关注两类截然不同的东西。它可以关注系统是否在正常运转——智能体是否在线并响应、每个请求是否完成、速度多快、成本多少、有无错误。它也可以关注智能体的输出是否正确——即对每个发出的答案内容进行评估的自动化检查：智能体是否给出了正确答案、采取了正确行动、遵守了策略。这一区分很重要，因为一个自信的错误答案对第一类监控来说是不可见的：请求完成了，响应很快，没有抛出错误，所有运转指标都显示健康。我们询问了各组织，他们当前的生产环境实时监控是为哪一类而构建的。

按实际被监控的内容来分组，分化十分鲜明：51% 的组织只监控智能体是否在正常运行，而 23% 会监控其答案是否正确。把临时人工审核者和“不知道”的受访者算进去，大约四分之三的组织在生产环境中没有对输出正确性进行任何自动化、实时的评估——他们能看到系统在运行、成本是多少，却对答案的正确性抱有盲信。这一盲区正是发现 1 中部署前缺口的运行时对应物：那些在部署决策中把人类工程化地排除在外的组织，大多无法实时察觉已部署的智能体何时开始出错。

发现 6：因成本而购买，以一致性来衡量

价格和集成驱动选择；评估一致性才是目标

我们询问了哪些因素最能影响企业选择评估供应商，以及他们把什么视为衡量成功的主要标准。两个答案都很务实。

企业基于经济性购买评估工具，并因其可重复性而信任它。评估成本（28%）以微弱优势领先于选择因素，略高于易集成性（27%）和评估准确性（24%）——可观测性的广度（13%）和供应商路线图（4%）的重要性则低得多。在成功标准方面，超过三分之一（36%）的受访者提到评估一致性——即对同一行为每次都能得到相同判定——远超实验速度（19%）、故障减少（18%）、生产可见性（13%）和合规性（11%）。对一致性的强调很能说明问题：在企业能够信任评估的判定之前，他们需要它是稳定的——而正是这一属性的缺失（偏差和不一致）在发现2中位列信任限制因素前列。对当前工具的满意度仅为中等，在整体满意度、实施便捷性和性价比三个维度上，五分制平均得分为3.8分。

发现7：下一笔资金流向人工监督与可观测性

投资正流向监督环节，而不仅仅是自动化

我们询问了未来一年哪些可靠性和评估方面的投资将增长最多。资金正流向更密切地监视智能体——包括借助人工。

第二大计划投资——仅次于生产可观测性——是人工审核工作流，占 26%。对照发现 1 来看，这是报告中最不易察觉的矛盾：就在三分之二的企业正在通过工程手段将人从部署决策中移除的同时，更多企业计划增加对人工审核员的支出（26%），而非用于替代他们的自动化评估流水线（16%）。零人工的轨迹与人工审核预算在同一批公司中同时上升。事实上，只有 8% 报告其预算没有增加。

综合来看，企业正在对冲：一边朝着自主化建设，一边花钱更密切地监视智能体，并让人类随时待命，以处理自动化评估尚不足以被信任做出的判断。

发现 8：工具链洗牌即将到来

近三分之二计划在一年内采用或更换平台

我们询问了企业是否计划采用新的、额外的或替代性的评估平台，以及他们正在考虑哪些平台。很少有人打算维持现状。

评估市场完全开放。虽然 36% 没有更换计划，但明显多数（64%）打算在十二个月内采用新的、额外的或替代性平台，31% 计划在下一季度内行动。考虑范围指向当前使用最薄弱的环节：Confident AI 的 DeepEval 在企业正在评估的平台中领先（20%），超过 OpenAI 的原生 evals（13%）和 Braintrust（9%）——开源专业厂商获得的关注超过了它们目前的市场份额。

鉴于如今如此多的企业依赖供应商原生工具，或者干脆什么工具都不用（发现 4），这与其说是背离，不如说是工具采用的第一波真正浪潮——评估层开始整合的时刻。在一个几乎还没有人信任自动化评估的市场中，哪些平台能赢得这份信任，是本系列将持续追踪的未解问题。

核心结论：自主性将扩大而非弥合评估缺口

员工规模在 100 人及以上的组织，赋予 AI 智能体的自主权，已经超出了它们所信任的评估能力所能支撑的程度。半数组织已经上线过某个智能体，它通过了评估，随后却让客户失望；几乎没有人完全信任自动化评估，主要原因是它与真实世界的结果不符；而大多数组织在监控生产环境时关注的是正常运行时间和成本，而非智能体的回答是否正确。然而，三分之二的组织已经允许、或正在积极朝着仅凭自动化评估就部署到生产环境的方向推进。

供应商市场尚处早期且格局未定：最常见的主要评估工具是供应商原生评估，与完全没有专用工具的情况并列，而明显多数的企业计划在年内采用或切换平台。令人鼓舞的是，下一笔投入将流向可观测性，以及——尤其值得注意的——人工审核，这表明企业即便在设法绕过这一缺口，也感知到了它的存在。本轮仅157名受访者，这只是一次方向性解读，且偏向中型市场——但方向是明确的：自主权正被授予，而授予者所依据的评估，他们自己并不信任。评估缺口并不是一个靠更多测试就能填补的覆盖问题；它是一个评估能否反映现实、并能否被信任用来把关现实的问题。后续轮次待解的开放问题是：保障能否追上自主——还是那些虚假信心的失败会从客户事故，演变为自行部署上线的变更。

基于157名合格企业受访者（员工数100人以上）的问卷回答，数据取自2026年6月的单轮调查。这是一次方向性解读，而非精确测量——样本为自我选择，并非概率抽样，且偏向中型市场。受访者包括产品与项目经理、顾问与咨询师、工程/IT总监，以及CIO/CTO/CISO等职能，覆盖技术/软件、零售/消费、医疗/生命科学、制造业及其他行业。