Stanford RegLab 发布 PhantomDocket 基准,追踪美国州法院诉讼文书中的 AI 辅助写作
AI Might Be Flooding State Court Houses, but Proving It Is Another Matter
Stanford HAI 与 RegLab 研究者发布论文 Detection Objection 和 PhantomDocket 基准,基于 Damien Charlotin 的 AI 幻觉案例数据库校准 AI 检测器,追踪四个州法院的 AI 辅助写作。
研究用幻觉案例构建 PhantomDocket 基准校准检测器,并给出四个州法院的 AI 使用率估计,读者可借此了解法律文本检测的可靠性边界。
AI 或许正在淹没州法院,但要证实这一点又是另一回事
日期
2026年11月19日
主题

斯坦福研究人员利用一套基于有据可查的 AI 幻觉案例构建的新基准,来校准检测器,并追踪生成式 AI 在美国四个州法院中的蔓延情况。
自 ChatGPT 发布以来,AI 生成的文本一直在向社会各处渗透:新闻文章、政治演讲,甚至联合国的新闻稿里都出现了它的典型痕迹。许多观察人士指出,法院是一个显而易见、也格外脆弱的机构:事实上,过去三年里,虚假引证不断出现在法庭文书中——出自律师、地方检察官,甚至法官之手。一波 AI 生成的诉讼案件可能让法院不堪重负,浪费法庭的时间和资源,最终使弱势群体无法获得或迟迟得不到司法救济。
但 AI 辅助在法院里究竟有多普遍?我们又该如何严格地检测法庭文书中的 AI 痕迹?斯坦福以人为本人工智能研究院与监管、评估与治理实验室(RegLab)的研究人员收集并分析了县法院的起诉状,以此探究这个问题。我们发现,AI 辅助起草的迹象从 2022 年的近乎为零,上升到 2026 年受检的圣克拉拉起诉状中的三分之一以上。我们还发现,同一批检测器在不同设置下会给出截然不同的估计结果。
为什么检测 AI 很难
AI 检测这门科学远非完美,在法律领域尤其如此。在我们的新论文《检测异议:记录、校准与检测美国州法院中 AI 辅助文本的兴起》中,我们展示了其中的独特挑战。
AI 检测器的工作原理是寻找 AI 的典型痕迹(比如“破折号用得太多”):而在语言使用方式各不相同的领域里,这些痕迹的表现形式也可能不同。法律写作确实与众不同:法律用词比日常语言范围更窄,还充斥着重复的套话模板,留给 AI 检测器的信号因此更少。商用检测器的训练数据也可能并未包含法律写作。
综合这些因素,我们发现检测率(1)在专业领域尤其糟糕,(2)可能对模型选择高度敏感。例如我们发现,对同一批 2026 年圣克拉拉起诉状,某个 AI 检测器判定为 AI 撰写的比例会随所用设置的不同,从 10% 到 98% 不等。这对所有针对不同细分领域的 AI 检测工作都是一个警示。
构建基准真相
突破口出现在我们审视一类尤其恶劣的 AI 违规行为时:幻觉和捏造的案例检索。在这些案例中,我们确知 AI 一定被使用过,因为错误实在错得太离谱。事实上,这已经是一个受到严密审视的领域:法律研究员 Damien Charlotin 于 2025 年 4 月建立了Charlotin AI 幻觉案例数据库,专门追踪法官指控或训诫当事人使用虚构引证的案件。
我们发现,这类案件里充斥着各种新的破绽。现有的 AI 检测工具,比如 Pangram 和 EditLens,要么无法自动识别 AI 生成内容,要么需要大量调校才能用。我们把 Charlotin 的数据库与一套精心设计的对照组结合起来,做成了一个专门检测法庭文书 AI 痕迹的新基准,名为 PhantomDocket。
此外,我们还开发了一种叫 ScoreMix 的方法,用来校准 AI 检测工具的输出,并统计那些与幻觉文书更相似、而非 ChatGPT 出现之前所写文书的提交占比。两者结合,让我们对法庭文书中的 AI 使用情况得出了经过校准、稳健且偏保守的估计。
主要发现:三分之一的案件
借助这些方法,我们得以较完整地描绘出生成式 AI 进入四个州法院的图景。
到 2026 年,圣克拉拉县和旧金山县(加利福尼亚州)的 AI 使用率分别升至 38% 和 36%(不含债务催收案件)。
不同法院的使用率存在差异。在可比案件中,塔尔萨县和俄克拉何马县(俄克拉何马州)的 AI 使用率明显更低,分别为 17% 和 16%。
自行应诉的当事人(pro se litigants),也就是在法庭上自己代理自己的人,采用率更高。在圣克拉拉,有 AI 使用迹象的自诉状占比从 2024 年的 19% 升至 2026 年的 72%;相比之下,由律师提交的诉状这一占比从 5% 升至 34%。
AI 使用率还因案件类型而异。加利福尼亚州的劳动和商业类诉状使用率最高,而债务催收类诉状几乎见不到 AI 使用——这类文书是模板化的,在某些法院占了近一半的提交量。
AI 使用情况也因法庭文书的不同部分而异,更常出现在事实陈述和诉讼请求部分。
数据能告诉我们什么,不能告诉我们什么
AI 辅助文本正悄然进入法庭,自行应诉者的使用率更高,不同司法辖区的使用率也各不相同。
基于我们的论文,我们要提醒:AI 检测最可靠的用途是估计总体使用率,而不是精确指出哪份具体文书用了 AI。在我们的基准数据集中,即便是最好的检测工具,假阳性和假阴性率也仍然不低;在语言用法独特的专业领域,直接使用现成检测工具是有风险的。
我们的研究也提出了切实的问题:AI 究竟是在帮助请不起律师的当事人,还是在让法院被不合格的法律服务淹没?迄今为止,已有超过 1,500 起美国案件被记录存在法律幻觉。这些证据凸显出司法系统有必要正视 AI 在法律行业的兴起。我们主张各法院改进披露政策,以便未来更好地问责和衡量生成式 AI 的辅助使用情况。
Javokhir Arifov 是斯坦福 RegLab 的研究员。
Alexander Spangher 是斯坦福大学博士后学者,隶属于 RegLab、斯坦福人工智能实验室(SAIL)和斯坦福 HAI。
Jonathan Hennessy 是斯坦福 RegLab 的高级研究经理。
Diya Karan 是斯坦福 RegLab 的研究助理,也是斯坦福大学学生。
Emaan Hariri 曾是斯坦福 RegLab 的法律学生研究员,并在斯坦福法学院获得 J.D. 学位。
Daniel E. Ho 是 William Benjamin Scott and Luna M. Scott 法学教授、政治学教授,并兼任计算机科学教授;他还是斯坦福 HAI 高级研究员兼副主任、斯坦福经济政策研究所(SIEPR)高级研究员,以及斯坦福监管、评估与治理实验室(RegLab)主任。
本研究部分得到斯坦福 HAI 和斯坦福影响力实验室(Stanford Impact Labs)的支持。作者感谢 Damien Charlotin 维护 AI 幻觉案例数据库,感谢 Pangram Labs 提供其模型的研究访问权限。Pangram Labs 未参与研究设计、分析或本项工作。
分享
链接已复制到剪贴板!
贡献者
Javokhir Arifov、Alexander Spangher、Jonathan Hennessy、Diya Karan、Emaan Hariri 和 Daniel E. Ho
相关新闻
斯坦福 HAI 通过 2026 年 Hoffman-Yee 资助计划支持雄心勃勃的 AI 项目
Nikki Goth Itoi
2026年11月16日
新闻
七支跨学科研究团队共获得 350 万美元,在医学、科学、法律和教育领域探索大胆的以人为本的 AI 方法。
新闻
斯坦福 HAI 通过 2026 年 Hoffman-Yee 资助计划支持雄心勃勃的 AI 项目
Nikki Goth Itoi
经济、市场生成式 AI科学(社会、健康、生物、物理)劳动力、劳工11月16日
七支跨学科研究团队共获得 350 万美元,在医学、科学、法律和教育领域探索大胆的以人为本的 AI 方法。
AI 繁荣的参差边缘
2026年11月15日
新闻
斯坦福 AI Index 的新发现显示,随着 AI 投资突破 1 万亿美元,公众情绪和劳动力市场结果比此前认为的更加参差不齐。
新闻
AI 繁荣的参差边缘
斯坦福 AI Index 的新发现显示,随着 AI 投资突破 1 万亿美元,公众情绪和劳动力市场结果比此前认为的更加参差不齐。
世界已经改变:新 AI100 报告的洞见
2026年11月10日
新闻

从战场目标定位到合成媒体,第三份 AI100 报告发现,这项技术的发展已经超出了预期和治理能力。
新闻

世界已经改变:新 AI100 报告的洞见
经济、市场教育、技能伦理、公平、包容金融、商业生成式 AI国际事务、国际安全、国际发展监管、政策、治理11月10日
从战场目标定位到合成媒体,第三份 AI100 报告发现,这项技术的发展已经超出了预期和治理能力。
AI 可能正在淹没州法院,但要证明这一点又是另一回事 | 斯坦福 HAI
来源:Stanford HAI News · hai.stanford.edu