# 安全研究者披露黑客用 GEO 污染 ChatGPT、Gemini 和 Google AI Overview，374 家企业被植入诈骗联系方式 - 来源：Hacker News 热门（buzzing.cc 中文翻译） - 作者：ArielSimon - 发布时间：2026-09-25 01:19 - AIHOT 分数：76 - AIHOT 标记：精选 - AIHOT 链接：https://aihot.news/items/cmuft4xrw07varoxz9brnf7vh - 原文链接：https://medium.com/@arielsimon/dark-sourcery-how-hackers-manipulate-ai-to-scam-you-88df434d2073 ## 精选理由 安全团队用自建检测系统实测三家 AI 的答案污染，给出攻击手法拆解和平台不受理的现状，读者可了解这类新攻击面如何运作。 ## AI 摘要 安全研究者发现针对 ChatGPT、Gemini 和 Google AI Overview 的规模化 AI 虚假信息攻击，共检测到 374 家被攻击企业，包括 Delta、Lufthansa、Bank of America、Airbnb 等，AI 会向用户给出诈骗电话和钓鱼链接。 ## 正文 你以为可以信任 AI 给你正确答案？再想想。 ChatGPT、Gemini 和 Google AI Overview 正遭到一场大规模 AI 虚假信息攻击的毒化。当用户查询数百家大型公司的日常信息时，AI 却在提供伪装成可信答案的网络钓鱼陷阱。 攻击者正在向网络大量投放经过精心优化的帖子、PDF、评论和虚假支持页面，诱骗 AI 呈现欺诈性的电话号码、电子邮件地址和登录页面。 目标包括 Delta、Lufthansa、Qatar Airways、Chase、Bank of America、Airbnb、TripAdvisor 以及数百家其他公司。 Press enter or click to view image in full size Google AI Overview 将攻击者的电话号码作为 Lufthansa 官方联系方式呈现 这不是研究，也不是概念验证。它此刻正在真实世界中发生，由恶意行为者通过自动化活动实施，其规模是传统下架手段无法跟上的。 社会工程攻击不再以人类为目标。新的目标是浏览网页的 AI 智能体。 这是我们博客系列的第一部分，讨论 AI 虚假信息攻击的影响。 坐好，让我们深入探讨。 引言 过去一年，我们变懒了。是的，比以前更懒。我们都有了一个新的好朋友，它为我们做所有事，似乎无所不知。 但你是否停下来想过：AI 究竟是如何知道一切的？这些知识到底从何而来？答案显而易见——互联网。所以，AI 的回答完全由网络塑造。 但等等……任何人都能在互联网上发布内容。谁来保证这些内容全都真实有效？如果这些内容被故意投毒，又会发生什么？ 这让我想到一个问题：攻击者能否精心构造内容，精准到足以操控浏览网页的 AI 智能体的行为？ 一项研究由 Exploding Topics 报告： “92% 的用户不会核实 AI 的回答” 这意味着，如果攻击者控制了 AI，而我们又盲目信任它，那么他们实质上就控制了我们。 内容推广：攻击者的版本 那么，AI 究竟是如何决定信任哪些事实、忽略哪些事实的？ 你们中有些人可能知道 GEO（生成式引擎优化）这个术语，它基本上就是传统 SEO 为 AI 时代演化而来的版本。简而言之，GEO 就是 AI 如何决定引用哪些来源。 GEO 有很多技巧可以让 AI 偏爱某些内容而非其他内容。例如，加入统计数据来支撑论点，或者引用知名专家的言论来助推某个议程。这些技巧只是让 AI 对特定数据点更有信心。许多营销人员使用 GEO 来让 AI 引用他们的品牌。 这让我开始思考……那么从攻击者的角度来看，如果我在网上放置虚假信息并使用 GEO 技巧让大语言模型相信它，会发生什么？我能让它说出任何我想让它说的话吗？ AI 信息供应链攻击 那么我能利用这些营销技巧来实施网络攻击吗？ 我开始做一些实验，看看什么是可能的。我能够实施一些非常疯狂的攻击，我们将在接下来的章节中详细阐述。 但有一件事真的让我很不安——如果我能做到，攻击者也能做到。那么我们如何查明这些技术是否已经落入坏人之手？ 我脑海中首先浮现的是网络钓鱼。攻击者的头号动机是经济利益，而最常见的攻击途径就是网络钓鱼。如果攻击者能在人们使用 AI 搜索银行等组织的联系方式时篡改这些信息，会怎样？ 检测系统 为了检查现实中是否存在真正的 GEO 攻击，我们构建了一个系统，用于分析 Gemini、ChatGPT 和 Google AI Overview（Google 的顶部搜索结果）中的 AI 回答，以及它们所依赖的来源。该系统会对这些来源以及从中抓取的内容进行评分，并寻找任何被用于推送虚假信息的 GEO 手法。 当我们检测到某个虚假细节（电话号码、URL、电子邮件地址等）被引用时，就将其标记为一次事件。我们在《财富》100 强公司、银行、航空公司、软件公司等对象上运行了该系统。 现实世界中的攻击 结果令人震惊。我们发现真实的攻击活动正在利用包含 GEO 优化内容的帖子、文档、网站和图像，推送虚假信息，比如伪造的联系方式、支持电话、电子邮件地址、虚假的软件更新、登录页面等等。 我们总共检测到 374 家遭到攻击的公司。其中包括《财富》100 强组织、大型航空公司（Delta、Lufthansa、United Airlines、Emirates、Qatar 等）、顶级银行（Bank of America、Wells Fargo、Chase、Citi 等）、旅行平台（Airbnb、TripAdvisor）、各类软件供应商等等。 这些攻击波及 ChatGPT、Gemini 和 Google AI Overview，已检测到数万个恶意页面。 以下是一些引用了诈骗电话号码的受攻击查询示例： 按回车键或点击以查看完整尺寸的图片 按回车键或点击查看完整尺寸图片 按回车键或点击查看完整尺寸图片 按回车键或点击查看完整尺寸图片 *需要说明的是：大多数事件都是统计性的。由于 LLM 的结果并不一致，我们发现攻击（LLM 引用虚假数字）并非每次运行查询时都能复现。攻击内容越好，投毒奏效的概率就越高。 投毒帖子 这些影响 AI 的帖子经过精心设计，带有 GEO 载荷，并被嵌入到各类允许创建用户生成内容（UGC）的无害网站中： 社交媒体/论坛帖子 — Instagram、Tumblr、Buzzfeed、LeetCode、YouTube 和 Vimeo 视频描述、Medium 等 允许上传文件的网站（主要是 PDF）— 政府网站、大学、学院等 网站托管平台— Google sites、GitHub pages、Wordpress、blogspot.com 筹款、求职、活动平台 — Posh.vip、onecause.com、bebee.com、raiselysite.com 等等 被滥用于投递载荷的各类随机网站 — Yelp 评论、Apple Maps 评论、心理健康基金会（mentalhealth.org.nz）、国家癌症研究基金会（nfcr.org）、PC 评测网站（pcreview.co.uk），以及许许多多其他网站！ 以下是一些示例： 按回车键或点击以全尺寸查看图片 按回车键或点击以全尺寸查看图片 按回车键或点击以全尺寸查看图片 按回车键或点击以全尺寸查看图片 按回车键或点击以全尺寸查看图片 社交媒体、博客和 PDF 上传中的投毒帖子示例 攻击技术拆解：它是如何运作的？ 攻击者使用的载荷内容乍看之下可能显得随机，但实际上是经过精心构造的。以下是攻击者用来让这些载荷劫持 LLM 回答的一些手法： 面向 GEO 优化的内容：这些帖子反复重复虚假号码，使用问答板块，并加入“立即致电”“24/7”或“2026 年更新”之类的措辞。这让该号码更有可能出现在搜索结果和 AI 回答中。 旨在绕过防御：他们用多种方式书写同一个号码：使用空格、点号、emoji、Unicode 字符，或在数字之间插入文字。有些垃圾信息/诈骗过滤器会移除电话号码。这些过滤器可能将其视为不同的文本，或无法检测出电话号码，而 AI 仍然能够理解它，并在 tokenization 之后正确解读，因为它在语义上是相同的（1️⃣ == 1，☎️ == 电话）。 到处发布：攻击者将同一个故事复制到社交媒体、论坛、网站和 PDF 上。他们还会将其上传到可信的 .edu、慈善机构和商业网站上，使虚假信息看起来得到了广泛证实且具有权威性。 做得像真的：这些帖子将有用的建议和真实电话号码与虚假号码混在一起，促使 LLM 同时引用两者。看起来官方的 AI 生成图片、虚假点赞、评论和支持标签让这一骗局显得更加可信，并让 LLM 在引用真实信息的同时也引用虚假号码。 专为制造恐慌而设计： 内容聚焦于退款、航班取消、账户被锁或转账等紧急问题。目的是让处于焦虑中的 AI 用户迅速拨打电话，而不是去查看公司的官方网站。 自动化攻击 → 绕过下架机制 有许多方案可以自动下架其中一些帖子。但这种方法已经行不通了。这些攻击显然是自动化的：相同的模板、相同的电话号码、相同的措辞，横跨众多受害公司和网站，其规模远超人工发帖的能力——每个平台每家公司每天数百条帖子 → 每天数千条帖子。 试图下架所有这些帖子是徒劳的。当一个页面被下架时（每次可能需要数小时甚至数天），一千个新页面又会被创建出来。 此外，像 archive.org 这样存储已删除网页内容的网站，仍然被搜索引擎索引。这意味着即使在下架之后，这些毒害内容仍然有效。 例如：针对 American Airlines 的 LeetCode 攻击者帖子在过去 24 小时内在 Google 上占据了超过 10 页搜索结果（！），以及一份在下架后仍留在 web archive 上的 PDF： Press enter or click to view image in full size 针对 American Airlines 的 LeetCode 攻击者帖子在过去 24 小时内 Press enter or click to view image in full size 原始页面被下架后仍被索引的 Web Archive 页面 这个问题需要一种全新的方法。 我们开发了一种机制，能够根据检测到的每一次攻击，自动逆转虚假信息攻击，并将真相还原到 AI 回答中。我们将在后续章节中详细阐述。 负责任披露 我们通过各公司的漏洞赏金、欺诈和安全渠道联系了所有被针对的公司。大多数公司并未意识到这些攻击的规模及其影响。我们开始与其中一些公司合作以缓解威胁。 另一些公司则不以为然，要么声称他们现有的解决方案能够应对（显然并不能），要么表示这不在漏洞赏金计划的范围内，因为它没有直接攻击他们的内部系统。 以下才是他们真正应该关注的原因： 收入损失：被骗的客户在尝试购买时被劫持，直接造成收入流失。 品牌损害：愤怒的受害者将矛头指向真正的公司，损害信任并导致用户流失。 麻烦与法律费用：处理大量客户纠纷和潜在诉讼的成本会迅速攀升。 我们预计越来越多的安全团队将很快熟悉这一问题并加以处理，尤其是在拥有大品牌的公司中。 我们还通过 Google 和 OpenAI 的漏洞赏金渠道联系了他们。Google 将该问题归类为超出范围，表示 AI 生成的虚假信息以及钓鱼/社会工程场景不在其 VRP 的覆盖范围内。OpenAI 则以无法复现为由关闭了报告，称提交内容必须展示对用户已证实的影响，而非理论上的攻击，尽管报告中包含了真实的攻击示例。 因此，由于该攻击操纵的是 AI 向用户展示的内容，而非入侵 AI 厂商自身的系统，它落在了这两个项目当前对漏洞的定义范围之外。 总结 AI 虚假信息是一种疾病，将会演变成一场瘟疫。 这些攻击会愈演愈烈，因为有一个根本事实不会改变——AI 无法区分真相与谎言。 在本系列博客中，我们将深入探讨由 AI 虚假信息引发的多种攻击用例。 在下一章中，我们将讨论 AI 虚假信息如何导致软件供应链攻击。敬请关注。 但不必惊慌——我和我的团队已经有了解决方案。如果你有兴趣进一步了解，或者想了解你的公司是否正遭受攻击，请通过 contact@vigilance.security 联系我们。 随时联系我们 我们是 Ariel Simon、Naor Haziz、Dan Lasker、Roi Levy 和 Ben Silvan——安全研究员和创业者。 如需提问、合作研究，或只是聊聊天，欢迎随时通过 LinkedIn 联系我们 :)