研究揭示系统提示中的隐藏日期影响 LLM 评测结果

研究指出系统提示中被隐藏注入的当前日期会让 LLM 评测结果随日期波动，影响可复现性和排行榜公平性。在 9 个模型和 6 个数据集上，仅因日期变化，多项选择题 QA 最高波动 6%，数学推理 14%，代码生成 7%，机器翻译 2.84 BLEU，模型排名也会因此改变；该效应超过 batch size 和数值精度等非确定性来源，链式推理和 few-shot 提示均无法缓解，链式推理甚至放大波动。