跳到正文
热点事件持续更新

廉价验证器核查RAG声明准确率逼近前沿LLM,但漏检更多

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一项论文测试发现,仅输出标签和概率的廉价验证器 Jev 在核查 RAG 声明时,准确率与前沿模型 GPT-6 Astra 相差不到 0.6 个百分点,成本却低 187 倍。测试基于 495 条人工标注声明。 但两者在漏检上差距明显:Jev 放行了 23.2% 的无依据声明,Astra 为 14.1%。论文还指出,用级联方案把部分声明分给 Astra 虽能降低其费用,但随机分流同样比例的声明也能省下差不多的钱。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. Rohan Paul
    廉价验证器 Jev 核查 RAG 声明准确率逼近 GPT-6 Astra

    论文测试了仅输出标签和概率的 Jev 与 GPT-6 Astra 在 495 条人工标注声明上的核查表现,Jev 准确率与 Astra 相差 0.6 个百分点以内,成本低 187 倍。但 Jev 放行了 23.2% 的无依据声明,高于 Astra 的 14.1%。级联方案虽降低 Astra 费用,但随机分流同样比例的声明也能省下差不多的钱。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。