跳到正文
HuggingFace Daily Papers·· 3 天前AI 评分43

UndoBench:区分工具调用 AI 智能体的任务能力与故障恢复能力

UndoBench: Separating Task Competence from Recovery Capability in Tool-Using AI Agents

AI 导读

UndoBench 是一个覆盖 8 个企业领域、36 个基础工作流与 36 个故障场景的基准,通过同种子反事实配对试验,将任务能力与恢复能力解耦。在 12 个留出测试工作流、5,760 次执行(2,880 对配对试验)中,名义任务能力达 83.54%,但条件恢复成功率(CRSR)仅 46.72%,朴素重试在 53.33% 的试验中产生重复外部副作用。

来源:HuggingFace Daily Papers · arxiv.org