跳到正文
Google Research:Blog·· 1 天前精选AI 评分67

Google 回顾 Duplex 十年演进:如何在 Gemini Tasks 中替用户打电话给商家

How Google Duplex evolved to also call businesses for you in Gemini

AI 导读

Google Research 回顾 Duplex 十年架构演进,并介绍本周在 Gemini App Tasks 中上线的自动致电商家功能。

推荐理由

文章梳理 Duplex 三代架构演进与技术难点,可帮读者理解 AI 电话智能体如何处理实时对话的延迟与语用问题。

正文 · AI 翻译

完成订晚餐、约理发这类事情很费时间。实时电话对话节奏很快,很少按剧本走。电话那头的人几乎什么话都可能说,还常常说到一半就改口——而人们往往靠细微的语气变化来判断该谁开口。停顿多出半秒,听起来就像电话断了;抢话太早,又会变成两个人同时说话。要借助 AI 在电话里得体地完成这些事,我们必须让高质量的语音理解、上下文推理和语音合成在同一个低延迟系统里协同工作。

大约十年前,我们推出了 Google Duplex 来应对这一挑战。在基础模型进步的推动下,Duplex 架构不断演进,如今已能为 Google 搜索、地图等众多核心产品提供自主任务完成能力。本周,我们在 Gemini 应用中的 Tasks 里上线了 Duplex——这是一个个人 AI 协作助手,能帮你处理现实生活中的琐事,比如替你给商家打电话,代表用户完成现实世界中的请求。本文回顾这十年间的架构演进,正是它让这一切成为可能——从早期封闭领域的模型,走向完全基于 Gemini 构建的统一技术栈。

从封闭领域通话到 Gemini 中的 Tasks

最初只是一个狭窄的、针对特定任务的系统,很快就扩展为共享的对话基础设施,由 Google 各团队协作打造。

新冠疫情期间,营业时间和服务内容变化很快,Duplex 加大了自动核实商家信息的力度,以保证商家信息准确。它至今仍是重要的数据来源;例如,正如我们在 2023 年所分享的,来自 Duplex 电话通话的商家信息在搜索和地图中展示已超过一万亿次。

与此同时,我们与 Android 和硬件团队合作,把这些对话模型直接带到设备端。从 2019 年起,我们连续五代 Pixel 推出了新的 Pixel Call Assist 功能。这些模型至今仍在为来电筛选和为我等候等功能提供支持,帮助用户过滤陌生来电,并在排队等待结束后由 AI 与人工客服对话,直到用户重新接入。2025 年和 2026 年,基础模型在 Google 搜索和 Ask Maps 中解锁了更广泛的智能体通话能力,可查询报价、商品库存和服务空档,从宠物美容到汽车维修都能覆盖。

对话架构的三代演进

过去十年间,支撑这些通话的技术栈经历了三个截然不同的阶段,从定制的神经网络流水线走向使用 Gemini 的统一架构。

1. 大语言模型之前的封闭领域模型

早在现代语言模型出现之前,甚至早在 transformer 被发明出来之前,我们就已经启动了 Google Duplex 的研发工作。在早期阶段,为了确保商家和用户都能获得良好体验,我们把 Duplex 限制在较窄的领域内,并基于匿名化的特定任务电话对话训练定制的循环神经网络模型。由于没有预训练的世界知识,我们只能教会模型如何高效处理每一种具体任务。在实践中,这意味着每种任务类型都依赖大量训练数据——比如要理解餐厅预订与查询节假日营业时间这两种截然不同的固定流程——才能确保系统可靠地应对特定领域的逻辑。

2. 早期生成式模型与混合架构

随着开放域基础模型的出现,Google Duplex 开始将其投入生产环境。例如,2022 年 Duplex 在实时通话中使用了 LaMDA。这些预训练模型简化了语义理解和常识推理,让系统能够应对意料之外的对话转折和跑题,同时仍能紧扣上下文,像标准的餐厅预订那样推进对话。

不过,这些早期生成式模型的可预测性不如今天,有时速度也更慢,因此我们构建了混合架构:用生成式模型负责灵活措辞,用确定性的状态跟踪和严格的策略护栏来兜底。这有助于确保用户和商家都能获得良好体验。

3. 无边界任务与 Gemini 集成

随着基础模型不断进步,我们彻底取消了固定垂直领域的限制,转而用自由文本的任务描述来提示系统。这样一来,模型只需一段提示词就能定义任务,系统便能泛化到新的任务类型和细节(比如要求靠窗座位,或需要放婴儿车的额外空间)以及新的商家类别,无需从零构建独立的对话模型。

我们的通话架构使用 Gemini 统一多模态理解、规划和对话生成,使系统能够处理多重约束的请求——比如在日程冲突中安排汽车保养——并在接待员提出其他时间段时灵活调整。

实时电话通话中的技术障碍

即便有了前沿模型,实时电话通话仍存在一些仅靠网页等标准数据集预训练无法解决的障碍:

  • 通话前与对话上下文的语用落地,以及真实世界意图理解:网页并不包含捕捉与忙碌商家通话如何展开所需的全部数据。近十年面向目标通话的经验,帮助我们的架构掌握语用规范,而且从通话开始之前就已介入。在实践中,这意味着根据过往对话的历史上下文,将自由文本任务与商家匹配(例如知道某家商户周末不接待大型团体预订),从而预判任务能否成功。在通话过程中,这有助于模型判断在某一时刻问什么才合理、如何读懂礼貌的间接拒绝,以及如何让通话简短高效。
  • 嘈杂环境下的亚秒级延迟:通话经由压缩的电话线路传输,背景中充斥着厨房里的锅碗碰撞声、意式咖啡机的轰鸣、街道噪音和旁人交谈。我们的技术栈针对低延迟流式推理做了调优,让回复以自然的节奏送达。定制的声学模型和对话节奏模型协助核心 AI 系统处理背景噪音和停顿、在预期时停止说话等。

为通话两端而设计

Duplex 既要服务好接听电话的商家,也要服务好用户。这一原则塑造了若干设计选择:

  • 明确披露。每通电话开头都会清楚说明这是 AI 智能体——具体来说,是来自 Google 的自动系统在呼叫。
  • 商家保有控制权。商家可以在 Google Business Profile 设置中选择退出自动来电,也可以在通话中直接说“请不要再打给我的商家”。
  • 无需设置,零适配。Duplex 走的是商家本来就在接听的电话线路:不用安装软件,不用维护预订系统,也不用培训员工。接电话的人可以像对待任何顾客一样处理这通电话,哪怕正赶上高峰期、柜台前排着队。
  • 一次对话,多处受益。一通电话里收集到的信息可以回答之后的许多问题,商家不必反复被问同样的事。例如,Google 地图可以展示 Duplex 收集到的商家信息,比如欢乐时光特惠、露天座位、是否宠物友好、停车小贴士,甚至每周一次的 trivia 之夜。

结语

许多日常琐事、本地服务和紧急任务,仍然需要直接与人交谈才能可靠地协调细节。通过把 Duplex 的能力集成到 Gemini App 的 Tasks 中,我们又向打通这一环迈出了一步。自然语音交互成为一种无缝集成的交互方式,当在线 API 或预订表单这类结构化数字渠道不存在时,智能体随时可以启用它。借助我们最新的 Gemini 4 模型——包括 Gemini 4 Hydrogen 和 Gemini 4 Neon——Gemini 中的 Tasks 现在可以支持更全面的工作流,比如分析水电费账单、通过 Agent Payments Protocol 安全处理交易,以及通过电子邮件和富通信服务(RCS)与用户协调。借助这些能力,我们正把这项研究带入下一代 AI 助手。

致谢

我们感谢 Duplex 团队,以及 Google 上下在这段长达十年的旅程中领导和参与其中的每一个人。感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster 以及团队中许多其他人为推动向 Gemini 驱动的通话转型、并促成此次在 Gemini 的 Tasks 中上线所做的贡献。

来源:Google Research:Blog · research.google

所属事件

查看事件全部
Google 在 Gemini Tasks 上线 AI 代打电话