跳到正文
HuggingFace Daily Papers·· 1 天前AI 评分47

Argo-Bench:面向企业级工作流的数据智能体评测基准

Argo-Bench: Evaluating Data Agents on Enterprise-Scale Workflows

AI 导读

Argo-Bench 是一个包含 210 个数据科学与分析任务的企业级数据智能体评测框架,模拟纽约市外卖平台 2024 年 8100 万订单,导出为 235 张表、75 亿行的 ERP 仓库。任务要求智能体在仓库中重建事实并执行封禁欺诈账号、分配骑手激励预算等操作,由模拟器按后果评分。14 个前沿与开源权重模型中最强者仅在 34.8% 的任务上得分 95 以上,平均 59.5 分。

来源:HuggingFace Daily Papers · arxiv.org