今年春天，军机已经升空，此时美国官员发现了一个令人震惊的情况：一场针对中国船只的武装行动所依据的情报，竟是由一个 AI 聊天机器人幻觉生成的。行动在最后一刻被中止，勉强避免了一场与中国的潜在冲突，CNN 于周五报道。

这一事件凸显了军方官员和外部专家日益加剧的担忧：随着决策者越来越依赖 AI，这些系统产生的错误可能在受到质疑之前就一路沿着指挥链向上传递。

这份情报报告在与伊朗交战期间流传，称该船只运载着用于核武器项目的部件。

这份虚假情报源自特种作战司令部的一名分析师，他查询了一个 AI 聊天机器人，试图将开源数据与机密信号情报进行综合。该聊天机器人错误识别了船只的货物舱单。随后，这名分析师再次使用该工具，将错误结论格式化成一份看似官方的摘要，并在各指挥渠道中传阅。

这起险情发生之际，美国军方正竞相整合 AI，以加快决策速度并保持对中国的优势。五角大楼曾将 AI 描述为在加速其杀伤链方面带来显著优势，使指挥官能够在恰当时机作出响应。但让 AI 具有吸引力的这种速度，也可能在人类监督不足的情况下让模型幻觉得以出现。

“对于军人来说，理解 LLM 固有的不确定性非常重要，”GovAI 研究学者、美国陆军退伍军官 Jake Steckler 在给 TechCrunch 的书面回复中表示。“但对于任何可能导致使用武力的决策——比如目标选定、情报分析或作战规划——这一点尤为关键。这些决策关乎生死。”

不过，Steckler 表示，这一事件应当被视为呼吁为 AI 增加更多保障措施的警钟，而不是回避它的理由。“这些工具在合适的场景下、配合适当的保障措施，可以发挥用处，”他说。“但把采用速度置于一切之上，很可能会导致一些事件，只会让军人对这些系统失去信任，而这最终只会拖慢采用进程。”