Trakkr 研究:追踪 1285 条 AI 引用统计的溯源路径
Zombie stats: Where the numbers AI quotes come from
Trakkr Research 向 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 提出 200 个要求数字的问题,并追踪其中 1285 条统计的引用链路,结果只有 40% 到达说法一致的研究,8% 到达但数字或语境已变,40% 无法核查,11% 无处可溯。
Trakkr 追踪了 1285 条 AI 引用统计的溯源路径,给出各类引用页面的到达率和数字失真比例,可帮助读者判断 AI 数字引用的可靠程度。
一个数字,一路追下去。
我们向 ChatGPT、Perplexity、Gemini、Claude 和谷歌的 AI Overviews 提出了 200 个需要给出数字的问题,都是人们日常会问的那种。 然后我们点开引用链接,一路点下去。下面是一条完整的追踪路径,从答案一直到尽头。
谷歌 AI Overviews
有多少比例的销售人员在第一次跟进之后就放弃?
44% 的销售人员在仅仅一次跟进尝试后就放弃了。
- 44%
- 44%
- 44%
- 44%
- 44%
某销售公司的统计页面2020 年
44% 的销售人员在一次跟进尝试后就放弃(来源)。
某自由撰稿人的示例文章不晚于 2017 年
80% 的销售需要在会面后跟进 5 次电话;44% 的销售人员在一次跟进后就放弃
背后没有任何研究没有调查,没有样本,没有日期。
- In the answer
每个助手收到的都是同一个问题:“有多少比例的销售人员在第一次跟进之后就放弃?”五个助手给出的数字完全一样,只有 ChatGPT 表示,这个数字背后的证据并不明确。
- One click in
谷歌 AI Overviews 引用的是某销售公司 2020 年的统计页面。数字就明明白白写在那里。而它的“来源”链接指向的是一篇写作范文。
- Two clicks in
顺着链接来到一位自由撰稿人的示例文章,2017 年之前就已上线。数字就写在标题里。文章列出了两份幻灯片、一份博客清单和两篇新闻报道,没有一项是有关跟进行为的研究。
- The end of the trail
线索到此为止。没有调查,没有样本,没有研究:我们尝试的通往这个数字的其他每条路径,都停在一个没有引用任何研究的页面上。这个数字至今仍在四处流传,底下却空无一物。这就是僵尸统计数字。
大多数数字并不是僵尸。但你从答案里看不出来:僵尸数字带着同样的自信和同样的引用出现,而在这里,五个助手还全都一致。于是我们对 1,285 条统计数字做了同样的追踪。
不到一半能追到源头。
我们从每个助手引用的统计数字中随机抽样,共 1,285 条,用同样的方式逐条追踪:先看被引用的页面,再看该页面引用的来源,最多追五层。 如果某个页面提到了来源却没有给链接,我们就自己去搜。
40% 追到了一项结论相同的研究。另有 8% 追到了研究,但数字或它的语境在传递过程中变了。其余的都没能追到:40% 停在一个我们无法核实的来源上,因为该来源被锁定、已消失,或者对那个数字只字未提;还有 11% 完全查不到出处。
十条追踪路径中有四条追到了一项结论相同的研究
每个方块代表我们追踪的 1,285 条统计数字中的百分之一,按追踪终点分类排列。
- 40%有据可查我们找到了研究,结论一致。
- 8%已改变我们找到了研究,但数字、调查对象、地点或时间不同。
- 40%无法核实页面提到了一个真实来源,但其中没有这个数字,或者来源被锁定、已消失。
- 11%查无出处整条路径上没有任何研究。每个页面都在重复这个数字,却谁也不注明出处。
最后 1%:页面在我们这里打不开的追踪路径。
ChatGPT 表现最好,引用的数字也最少:每个答案 1.3 个,而 Claude 是 6.8 个。其余四个在 38% 到 46% 之间,彼此太接近,无法排名。
ChatGPT 引用的数字最少,但标注来源的比例最高
每个助手各取一百个方格,数据来自其自身被引统计的样本。
ChatGPT
57% 标注来源
每条回答 1.3 个统计数字
Perplexity
46% 标注来源
每条回答 2.2 个统计数字
AI Overviews
39% 标注来源
每条回答 4.8 个统计数字
Gemini
38% 标注来源
每条回答 6.2 个统计数字
Claude
38% 标注来源
每条回答 6.8 个统计数字
这不是我们提问方式造成的偶然现象。Google AI Overviews 回答真实日常搜索时给出的 300 个统计数字中,有 40% 标注了来源,比例相同。
AI 引用的是文章,不是研究本身。
大多数情况下,AI 并没有编造数字:它引用的页面上有 82% 的概率确实写着这个数字。问题在于引用的是哪个页面。在为一个数字引用的页面中,只有 21% 是研究本身。
超过一半是公司博客。再加上新闻报道和统计数字汇总,大多数引用都落在专门从别处收集数字的页面上,而且往往没有回链。
溯源从哪里开始,决定了它在哪里结束
按类型划分,助手为一个数字最先引用的每个页面。每列的宽度代表该类引用所占比例。绿色表示其溯源链到达了说法一致的研究的比例。
62%
研究机构占引用 13%
研究机构或调查:占首次引用 13%,其中 62% 溯源成功。
61%
政府占引用 7%
政府或官方机构:占首次引用 7%,其中 61% 溯源成功。
37%
公司博客占引用 54%
公司博客:占首次引用 54%,其中 37% 溯源成功。
37%
新闻占引用 10%
新闻或杂志:占首次引用 10%,其中 37% 溯源成功。
35%
统计汇总占引用 8%
统计汇总:占首次引用 8%,其中 35% 溯源成功。
41%
其他占引用 8%
其他:占首次引用 8%,其中 41% 溯源成功。
溯源从哪里开始,决定了它在哪里结束。从研究机构或政府页面出发,有 61% 的概率到达说法一致的研究。从公司博客出发是 37%;从统计汇总出发是 35%。即便是研究机构,也有 38% 的情况未能溯源成功,原因常常是完整报告被表单挡在后面。
引用告诉你 AI 在哪里找到这个数字,而不是这个数字来自哪里。
数字在传递途中会变。
到达研究本身,并不总意味着数字保持不变。成功溯源的统计数字中,有 17% 在途中发生了变化。数字本身变动只占约四分之一。通常是语境变了:测量的是什么、年份、来源,或者问的是谁。
在我们记录的所有变化中,具体变了什么
- 数字变了
- 26%
- 测量对象变了
- 20%
- 年份变了
- 17%
- 来源变了
- 16%
- 受访对象变了
- 14%
- 地点变了
- 4%
十五位女性评判健康网站,成了每个网站的第一印象。三家公司成了一条商业法则。以下是我们追踪到的最清晰的几条链路,每条都经过人工核查。
看一个数字如何失去语境
每条线索都从原始研究出发,一直追到 2026 年 10 月某个助手给出的回答。沿着线索走:数字不变,周围的措辞在变。
提问对网站的第一印象中,有多少比例与设计有关?
该研究 · Sillence 及同事,CHI,2004
在15位女性就拒绝或不信任健康网站所发表的评论中,94%与设计有关。
2004 年的一项研究观察了 15 位英国女性评判健康网站,她们关于拒绝某个网站的评论中有 94% 与设计有关。经过二十年的转述,这句话变成了“94% 的第一印象与设计有关”,Google AI Overviews 还把它当作事实陈述。
第 1 步,共 4 步
僵尸数据。
向五个助手提同一个问题,常常会得到五个不同的数字。在五个助手都给出百分比的 71 个问题中,有 28 个问题我们得到了四到五个不同的数字。
同一个问题,五个答案,从 49% 到 96%
同一天逐字提问:“有多少比例的市场营销人员使用营销自动化工具?”
49–51%AI Overviews
62%ChatGPT
70–79%Gemini
81%Perplexity
96%Claude
ChatGPT并没有一个统一的数字,它因调查而异,也取决于“营销自动化”如何界定。一项常被引用的调查发现,62% 的美国数字营销人员使用过自动化软件,但该数据来自 2020 年,可能无法反映当前的采用情况。
Perplexity约 81% 的营销组织使用营销自动化。
Gemini综合主要行业基准,70% 到 79% 的营销人员与公司在某种程度上使用营销自动化工具
Claude96% 的营销人员使用过营销自动化平台,或计划使用
AI Overviews根据 Moosend 的行业基准及相关研究,目前大约 49% 到 51% 的公司和营销团队使用营销自动化工具。
这不是某个古怪的问题。最高数字与最低数字之间的典型差距是 16 个百分点。
在 71 个问题中,有 31 个问题的五个数字相差 20 个百分点或更多
所有五个助手都给出百分比的问题,每个一行,从最低数字到最高数字。最接近的排在最上面。
69 个问题。最高与最低数字之间的典型差距是 16 个百分点。
最接近相差 20 个百分点或更多差距最大
一致看起来像是证据,其实不是。五个助手在10个问题上给出了相同的数字,而我们追踪到的5个里,只有2个有出处。它们重复最多的那些统计——被三个及以上引用的——也没好到哪去:29个里只有11个有出处。
其中四个被全部五个助手引用,背后却找不到任何研究。
五个都引用了,没有一个给出出处。
四个每个助手都给出的统计,每条溯源链都终止在一个没有引用任何研究的页面上。
- 44%
跟进一次就放弃的销售人员
每条溯源链都终止在一个没有引用任何研究的页面上,其中一个还是自由撰稿人的示例文章。它的完整溯源链从第1章开始。
五个助手都引用了
- 90%
至少关注一个品牌的社交媒体用户
只给了说法,没有出处。找不到得出这个数字的研究。
五个助手都引用了
- 75%
从不翻过搜索结果第一页的搜索用户
被反复引用却没有出处,常被归到一份早已不再收录它的旧营销综述上。没有找到相关研究。
五个助手都引用了
- 5 to 25 times
获取一个新客户比留住一个老客户多花多少钱
2014年《哈佛商业评论》的一篇文章给出的范围是“取决于你信哪项研究”,而且一项都没点名。
五个助手都引用了
AI重复最多的29个统计
每个都至少被五个助手中的三个引用,多数情况下排在首位,其溯源链经过人工核查。
- 95%
未能带来可衡量财务回报的生成式AI试点
MIT NANDA的2025年报告称,95%的组织没有从生成式AI获得回报。这和95%的试点失败不是一回事。
5 of 5ChangedStudy from 2025 - 44%
跟进一次就放弃的销售人员
每条溯源链都终止在一个没有引用任何研究的页面上,其中一个还是自由撰稿人的示例文章。它的完整溯源链从第1章开始。
5 of 5Nowhere - 4% to 10%
真正会投诉的不满客户
可追溯到TARP在1979年为白宫消费者事务办公室做的研究。其作者表示,这么低的比率适用于小额购买;2016年,有22%到41%的人就自己最严重的问题进行了投诉。
5 of 5ChangedStudy from 1979 - 2 hours 21 minutes
人们每天花在社交媒体上的时间
DataReportal的《数字2025》报告,基于GWI调查数据:典型互联网用户每天在社交媒体上花2小时21分钟。
5 of 5SourcedStudy from 2025 - 46%
带有本地意图的谷歌搜索
可追溯到2018年一条关于某搜索会议上幻灯片的社交帖子。据我们所能查到的,谷歌从未发布过这个数字。
5 of 5Can’t check - 90%
至少关注一个品牌的社交媒体用户
只给了说法,没有出处。找不到得出这个数字的研究。
5 of 5Nowhere - 94%
对网站的第一印象与设计有关
最初是2004年一项研究,考察15位女性如何评判健康类网站。它的完整溯源链在第4章。
5 of 5ChangedStudy from 2004 - 75%
从不翻过搜索结果第一页的搜索用户
被反复引用却没有出处,常被归到一份早已不再收录它的旧营销综述上。没有找到相关研究。
5 of 5Nowhere
面对AI给出的统计数字该怎么办。
把它当作线索,而不是出处。六个习惯,引用前后各三个。
如果你要使用它们
顺着引用查,然后再查一层。
如果被引用的页面是一份统计清单或公司博客,就用它自己的链接再往前翻一页。一直查到研究本身,或者查到查不下去为止。
核实问的是谁、多少人、什么时候。
我们发现,大部分改动出在上下文,而不是数字本身:某个国家的一项民调、一份十年前的调研、十五个人。
别把意见一致当成核实。
五个助手给出同一个数字,并不等于五个来源。它们重复最多的那些数字,来源并不比其余数字更可靠。
如果你要发布这些数字
把方法放在数字旁边。
样本、日期和来源链接,与数字放在同一页,这样下一个页面、下一个回答,都能追溯到你这里。
把发现公开出来。
藏在表单后面的报告往往是死胡同:即便是从研究机构出发的线索,也有 38% 的几率走不通。把核心数字和方法放在公开页面上。
看看 AI 为你的数字引用了哪个页面。
通常是一个汇总帖或博客抄了你的内容,有时用的还是更旧的数字。而正是那个页面决定了人们听到什么。
来源:Hacker News:AI 热帖 · trakkr.ai