跳到正文
热点事件持续更新

ServiceNow 与 McGill 发布 AgentHorizon 基准

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

ServiceNow 与 McGill 的论文推出 AgentHorizon 基准,用于评估 LLM 判官在长程计算机使用任务中的表现。该基准包含来自人工屏幕录制的 1,373 个判官任务,并通过交换近同任务的指令构造干净的失败样本。 研究结论是:LLM 判官难以察觉长程计算机使用任务中的细微失误。

AI 根据报道生成 · 56 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. Rohan Paul
    ServiceNow 与 McGill 发布 AgentHorizon 基准,发现 LLM 判官难察长程计算机使用任务的细微失误

    ServiceNow 和 McGill 的论文推出 AgentHorizon 基准,包含来自人工屏幕录制的 1,373 个判官任务,通过交换近同任务的指令构造干净的失败样本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。