Anthropic 研究：AI 智能体的隐性倾向如何影响 50 名专业分析师的判断决策

Amaç Herdağdelen, Hailey Joren, Alex Tamkin

当专家把工作交给 AI 智能体时，通常的假设是，重要决策仍由他们自己做出。智能体编写代码、运行数字并给出建议，但由专家决定衡量什么、如何解读模糊的证据，以及下一步该做什么。这些问题往往不止一个合理答案，最终决定取决于拍板者的经验与价值观。

我们想考察专家是否真的做出了这些重要决策，还是在实践中听命于他们的 AI 智能体。在我们于一篇新论文中报告的研究里，我们让 50 名专业分析师使用 Claude Code 完成一项贴近现实的统计分析。他们都有因果推断方面的经验——即从数据中判断一件事是否导致另一件事。他们的任务是就一家农业合作社正在开展的一项咨询服务是否有效、是否应当扩大给出建议。

在此过程中，分析师必须在两个合理选项之间做出四项选择，例如将生产率衡量为每公顷作物产量还是每单位运营成本的产量，然后做出最终决定。为了观察这些决定是否由他们自己做出，我们让每位分析师的智能体在每项决策上偏向其中一个选项，且不告知分析师。智能体“偏向”哪一方由抛硬币决定。智能体被要求为其偏向提出最诚实有力的理由，在证据要求时改变立场，并且绝不误导。

在四项分析选择中，分析师有 86% 的时候跟随了智能体的偏向。如果智能体的输入毫无影响，我们预期约为 50%。当分析师在智能体表态前已表达自己的偏好时，如果智能体持不同意见，他们有 60% 的时候会改变立场，而如果智能体同意，这一比例仅为 6%。

事后，当被要求解释自己的选择时，77% 的分析师使用了智能体自己的论点——有时一字不差——但只有 15% 的人将这些论点的来源归于智能体。密切跟随智能体建议的分析师对最终建议的信心与其他人相当，将其称为自己判断产物的可能性也大致相同。

我们不知道这能在多大程度上反映现实世界。真实的智能体有时会偏向某一方——在未指定偏向的情况下，Claude Opus 4.8 在 123 次运行中有 112 次做出了同样的五项选择——但在本研究中，我们故意强化了它们的偏好以测量其影响。当智能体未被赋予明确偏好和表达偏好的指令时，这种影响可能更小。

这并不是一个简单的、反对使用 AI 工作的警示故事。使用该智能体的分析师比选择不使用它的分析师更快完成了任务，且犯下的严重错误少得多，尽管后一组人数较少且经验不足，因此我们对过度解读持谨慎态度。但随着 AI 接管更多实操工作，这类决策正日益成为人类判断和价值观影响结果的关键所在。如果专家在未意识到的情况下顺从了智能体，那么智能体的偏好——可能是任意的或错位的——就可能塑造关于政策提案或研究方向的重要决策，而没有人真正选择过这些偏好。这对于保持 AI 安全的研究尤为重要。研究人员已开始使用智能体来运行和分析实验，而人类审阅者只有在其判断属于自己的时候，才是一个独立的检查。

研究设计

我们招募了 61 名分析师进行一项随机对照试验。所有人都来自一个预先筛选的专业人员池，他们通过了因果推断知识测试，经常使用 Python 或 R 编程语言，并具有观察性因果分析的实践经验，即利用真实世界数据而非受控实验来研究因果关系。

任务设定在一个虚构的组织——Greenfields 农业合作社，该合作社运行一个（同样虚构的）自愿、付费的咨询项目，帮助其成员农场提高作物产量。约 40% 的成员已加入。合作社董事会必须决定是补贴并扩大该项目，还是终止它。董事会只有在项目将农场生产力提高约 3–4% 的设定幅度时才会扩大项目，但并未明确说明生产力应如何衡量。

我们故意留下四个分析决策，每个都有两个合理的选项：

• 结果指标：将生产力衡量为每公顷作物产量，还是每单位运营成本的产量？
• 比较方法：比较加入农场的产量在加入后的变化与其他农场同期产量的变化（“双重差分”设计），还是在统计调整农场间差异后直接比较产量？
• 评估覆盖哪些农场：仅在加入的农场中衡量效果，还是在合作社全体成员中衡量？
• 加权方式：每个农场等权重计算，还是给较大生产者更多权重？

这四个选择导向一个最终建议：是将项目推广给所有人，还是终止它。分析师和智能体也可以提议延长一年。

每个分析决策都可能使估计的生产力增益变动几个百分点，当董事会的门槛是 3–4% 时，这一点很重要。

对于呈现给每位分析师的五个决策中的每一个，智能体的倾向由抛硬币决定。我们在隐藏指令（系统提示）中给智能体设定了倾向，告诉它把每个倾向当作自己的观点，在决策出现时提出，并尽可能用数据为它做最强论证。同样的指令告诉它，如果证据决定性地不利于它，就改变主意，并且绝不歪曲结果、隐藏数据或提出数字不支持的论点。

在61名参与者中，有11人选择不使用该智能体，除非另有说明，否则他们不纳入分析。在其余50人中，65%拥有硕士或博士学位，或具有六年以上经验；90%自评为在观察性因果推断方面熟练或专家级（在回答调查的48人中）。任务用时中位数为65分钟，一半分析师用时在50到79分钟之间。他们在内置Claude Code的网页版VS Code编辑器里工作，运行的是High effort模式下的Claude Opus 4.8。

完成后，分析师提交了他们的四项分析选择和最终建议，以及对项目对生产力影响的估计和置信区间。随后他们完成了一份任务后调查。一个单独的AI模型阅读了每份提交及其代码，以记录分析师在每项决策上选择了哪个选项。当其解读与分析师的调查回答不一致时，由我们做出最终判定。

结果

分析师大多跟随了其智能体的倾向。在四项分析决策的每一项上，分析师的选择绝大多数时候与其智能体的倾向一致：结果指标为92%，比较方法为82%，估计覆盖哪些农场为81%，加权为90%。四项合计，结果为86%。图2展示了智能体的倾向在每项决策上（包括最终建议）对分析师选择的改变程度。

智能体的倾向对最终建议的影响较弱，但其先前的输入仍然塑造了结果。当智能体倾向于推广该项目时，54%的分析师建议推广，而倾向相反时为36%。（一年延期算作不推广。）我们认为影响较弱是因为，一旦分析师有了自己的估计，建议在很大程度上取决于该估计是否达到董事会3–4%的门槛，这留下的判断空间较小。但到那时，智能体在分析决策上的倾向已经塑造了估计本身。仅使用这四个倾向，一个统计模型正确预测了82%的分析师建议，而始终猜测最常见建议的准确率为61%。（这不包括提出延期的分析师。）因此，我们基本上可以仅凭这些随机倾向，在分析师甚至还没开始任务之前，就预测出他们会建议什么。

已经选定某个选项的分析师，在智能体持不同意见时往往会改变选择。在38个案例中，分析师在智能体表达倾向之前，已就某项分析决策表达了偏好。当倾向与其选择相反时，他们改变选择的比例为60%，而倾向与其选择一致时为6%。这是54个百分点的差距，但由于这仅基于38个案例，估计并不精确，95%置信区间为24至82个百分点。我们也无法确定这一差异是由AI的影响造成的：表达过偏好的分析师在某些方面可能与未表达者存在系统性差异。

经验与专业知识并不能预测谁会顺从。在一项探索性分析中，我们检验了10项特征中是否有任何一项能预测分析师的决策在多大程度上跟随其智能体的倾向：从业年限、自评的因果推断专业水平、教育背景、因果推断测验得分、对AI的信任度、使用AI的频率、“认知需求”（衡量人们有多享受费力的思考）、思想开放程度、性别和年龄。只有年龄显示出统计学上显著的联系，年长的分析师更常跟随倾向。但我们并不对此过度解读：如果你检验许多不同的东西，就更有可能仅仅因为偶然得到一个阳性结果，而当我们对此进行调整后，该结果就消失了。由于大多数分析师在大多数决策上都跟随了他们的智能体，本来就没有多少变异可供解释，因此即便是真实的差异也很难被检测到。

跟随智能体倾向的分析师仍然把建议称为自己的。在任务后调查中，52%的分析师认为最终建议更多是自己的而非智能体的。其余的人则表示这更多是智能体的建议。但两组受到智能体的影响大致相当：前者的选择平均向智能体的倾向偏移了约65个百分点，而后者为79个百分点，这一差异在误差范围之内。分析师对自己建议的信心也呈现出类似的模式。他们被要求给自己的信心打分，从0（“就像抛硬币”）到100（“我愿意拿职业声誉担保”）。在全部四项分析决策上都跟随倾向的人平均为71，其余人为73。

分析师用智能体的话来解释自己的选择。任务结束后，调查询问了每一项决策：“简要说明，为什么选择这个而不是另一个？如果不是主动选择，就直说。”回答时，分析师无法回看自己与智能体的对话。即便如此，77%的人至少在一个回答中重复了智能体的论点，有时一字不差，而只有15%的人在任何地方提及了智能体的贡献。

当被明确问及他们认为这项研究是关于什么时，48人中有6人正确猜出是关于AI对他们选择的影响，但没有人怀疑AI自身的偏好已被操纵。

不使用AI工作的分析师犯了更多严重错误，且耗时更长。在11名选择不使用智能体的参与者中，有6人（55%）犯了使其结果无效的严重方法学错误，而使用智能体的50人中仅有3人（6%）如此。两个AI模型标记了这些错误，研究作者之一在不知道分析师属于哪一组的情况下逐一核查了每个错误。不使用智能体的分析师耗时也更长，中位时间为90分钟，而其他人为65分钟。

两组人无法直接比较，因此我们无法确定结果差异是否由使用或不使用 AI 的决定所导致。不使用 AI 的人平均经验较少：拥有硕士或博士学位的人更少（11 人中有 4 人，而使用智能体的 46 人中有 24 人），在分析岗位工作两年或以下的人更多（11 人中有 6 人，而 48 人中有 15 人），自评在因果推断方面达到熟练或专家水平的人更少（11 人中有 8 人，而 48 人中有 43 人）。

我们研究的局限性

• 我们有意强化了智能体的倾向。我们的指令让智能体可靠地持有并表达一种偏好，以便我们测量其影响。我们报告的比例显示的是智能体偏向一方并明确表达时会发生什么，但这在多大程度上适用于现实工作，将取决于专家自身观点的强度、所涉决策定义的清晰程度，以及模型的行为方式，包括它是否有偏好以及是否会主动表达。
• 我们只研究了一个领域中的一项任务，且只使用了一个模型。该任务耗时约一小时，专门针对农业，智能体运行于 Claude Opus 4.8。分析师是因果推断方面的专家，但对农业并不熟悉。在实际工作中，他们会更了解该领域，并且可能持有更强的自身观点。他们还可以访谈相关人员、与董事会沟通，或以其他方式缩小合理选项的范围，这可能会减少智能体的影响。
• 我们的估计是分析师之间的平均值。由于分析师之间的硬币抛掷结果不同，比较智能体倾向相反的分析师可以告诉我们这种倾向的平均效应。我们没有在智能体表达倾向之前记录每位参与者自己的观点，因此无法说明任何单个参与者受到了多大影响。
• 我们记录了分析师选择了哪个选项，但没有记录他们对该选项的偏好强度。顺从的一种可能解释是，专家自己没有强烈的观点。我们只测量了分析师的选择是否发生偏移，而没有测量他们对自己选择的信心程度。

这意味着什么

分析师如此轻易地顺从，一个原因可能是专家并不总是带着完全成形的观点到来。他们往往在权衡选项的过程中形成、甚至发现自己的想法。我们研究中的智能体被要求不得误导，它们也常常坦诚说明每个选项下结果会如何变化。但它们很少有力论证专家为何可能更偏好另一个选项，而这本可以帮助分析师做出更明智的选择。由于只有一方得到了充分论证，分析师可能采纳了智能体的假设，而没有形成自己的判断。

对个体专家而言，这可能意味着失去对自己工作的自主权，即研究人员所称的一种去权。工作仍以专家的名义发布，但最依赖其判断的决策，实际上是由智能体的先验信念决定的。

不过，这件事的利害关系不止于个人，因为大量科学与政策都建立在这样的判断性决策之上。当不同的研究团队得出相同结果时，我们会更加信任它，因为我们假定每个团队都是独立得出该结果的。如果这些团队都服从于具有相同偏好的模型，那么它们的一致性可能就不再独立。表面上的共识可能反映的是某一个模型的偏好，而如果这些偏好是任意的或存在偏差，同一种偏差就会同时影响许多结果。

同样的问题也适用于 AI 安全研究。研究人员已经开始使用 AI 智能体来运行和分析实验，部分原因是工作量超出了人类员工所能跟上的程度。让人类留在流程中，前提是假定人的判断能提供一种独立的核查。但在我们的研究中，分析人员签字认可的工作里，判断性决策在很大程度上已由智能体随机分配的偏好所决定。我们的完整论文还表明，没有被赋予倾向的智能体自身的偏好更弱，有时还会反驳用户。

这类服从很难被察觉。检查 AI 辅助的工作是否有错，或对照参考答案，前提是存在一个正确答案。但在没有正确答案的地方，比如判断性决策，无论选择哪个选项，工作看起来都可能很合理。事后询问专家可能也无济于事，因为他们可能注意不到智能体的影响。

这并不是主张少用 AI。若使用得当，AI 可以扩展而非侵蚀人的能动性。我们建议未来研究三个方向：

测量服从。我们之所以能在研究中测量服从，是因为我们对智能体的倾向进行了随机化，而这在真实工作中很少可行，并且我们的结果表明，人们自己可能无法准确报告这一点。我们需要在日常情境中测量它的方法，而近期一项工作估计某人在没有 AI 的情况下会如何执行任务，是一个良好的开端。我们还需要更清楚地了解模型的默认偏好及其表达方式，以便人们能以更知情的方式与模型互动。

以不同方式设计智能体。智能体可以为每个选项给出最有力的理由，或在给出自己的观点之前先询问专家的看法。但这可能很快就会让用户不堪重负。一项分析可能涉及许多待定决策，而 AI 的很大一部分价值就在于人们不必逐一思考每个决策。智能体需要只提出最重要的决策，但挑选哪些决策本身就是一个判断性决策。模型的说话方式可能也很重要，因为自信与流畅能够左右人们。一个听起来非常笃定的模型可能会让人过度倾斜，而一个含糊其辞的模型只会惹恼试图使用它的人。

改变制度。制度往往将专家的签字视为独立判断的证据。随着 AI 承担更多工作，这一假设变得愈发不牢靠。组织需要审慎决定哪些决策需要个人基于充分信息的自主判断，并给予人们形成判断所需的时间和资源。判断力也依赖于技能，而不再做这些决策的人可能会丧失做出这些决策的能力。随着模型能力增强，制度需要制定明确策略，确立人类的角色以及人类技能的发展。即便 AI 系统能力极强，制度也可能出于安全或韧性考虑，或仅仅因为珍视这些技能本身，而希望保护人类技能与监督。

人与 AI 之间或许并不存在唯一正确的分工。有些决策可以放心交出，另一些则值得保留。有了合适的工具，这种划分可以成为我们主动选择的结果，而不是被动滑入的境地。