跳到正文
Inception Labs:Blog·· 16 天前精选AI 评分60

Inception Labs 发布扩散语音模型 Mercury Voice

Introducing Mercury Voice

AI 导读

Inception Labs 推出面向语音智能体的扩散大语言模型 Mercury Voice,面向企业客户开放。

推荐理由

原文给出具体的延迟、基准和定价数据,读者可以据此评估扩散语音模型在实时语音智能体场景的取舍。

正文 · AI 翻译

两周前,我们与 Mercury 2.5 一同预览了 Mercury Voice。今天,它已面向企业客户正式发布。

Mercury Voice 是一款为语音智能体提供动力的扩散大语言模型(dLLM)。它能进行推理、调用工具,并遵循冗长的系统提示,同时将延迟保持在足以进行自然对话的低水平。在一组真实客服提示的测试集上,Mercury Voice 的首个回答 token 返回时间中位数低于 320 毫秒,同时在一系列智能体与语音基准测试中击败了 GPT-6 Luna 和 Gemma 4 31B 等模型。

概览

  • 速度:在生产语音提示上,首个回答 token 的中位(p50)时间为 320 毫秒(p95:750 毫秒),比 GPT-6 Luna(无推理)快 5.9 倍。

  • 质量:在智能体与对话基准的综合评测中,表现优于 Gemma 4 31B、GPT-6 Luna、GLM-5.3-Flash 和 Qwen3.5-397B 等模型。

  • 推理强度:三档设置(低、中、高)

  • 上下文:128K tokens,最多可输出 50K tokens。

  • 价格:每百万输入 token 0.40 美元,每百万输出 token 1.50 美元

    • 发布期间,Mercury Voice 享受 5 折优惠,每百万输入 token 0.20 美元,每百万输出 token 0.75 美元。

低延迟对话

要让语音应用感觉自然,智能体必须在来电者说完后约 500 毫秒内做出回应;再久,停顿就会显得尴尬。这就是我们优化首个回答 token 时间(TTFAT)的原因:在所有推理完成后,模型需要多久才开始生成来电者实际听到的词。

Time to first answer token on real voice-agent prompts

低推理强度下的 Mercury Voice 是唯一一款中位(p50)TTFAT 低于 500 毫秒预算的模型,其 p95(750 毫秒)比除 Cerebras 上 GPT-OSS-120B(低)之外所有模型的中位数还要快。在语音应用中,尾部延迟几乎与中位数同样重要,因为 p95 达到四秒意味着大约每二十轮对话就有一轮失败。

实时推理

语音应用开发者历来不得不在两种模型之间做选择:智能但缓慢的推理模型,或只能遵循基本指令但速度快的非推理模型。由于延迟预算紧张,Gemma 4 31B(无推理)和 GPT-4.1 等非推理模型成为语音智能体的默认选择。

Mercury Voice 消除了这种取舍。以下是它的对比表现:

Comparison Table

事实上,在包含 τ³-bench Telecom、τ³-bench Retail、τ³-bench Airline、IFBench 和 BFCL v4 的综合基准测试中,Mercury Voice 的表现优于 GPT-6 Luna、GLM-5.3-Flash 和 Gemini 3.5 Flash-Lite 等较新模型。 

  • Average quality benchmark

  • τ³-bench Telecom

  • τ³-bench Airline

  • τ³-bench Retail

  • IFBench

  • BFCL V4 (multi-turn)

当把质量和延迟绘制在一起时,差异更加明显。在 τ³-bench Telecom、τ³-bench Retail 和 τ³-bench Airline 等多个对话智能体基准上取平均值时,Mercury Voice 的质量高于我们测试的几乎所有其他模型,并且速度是第二快模型的两倍。 

τ³-bench quality vs. latency

基准测试在语音方面的作用有限。以下是 320 毫秒在实时对话中的听感。

生产环境中的 Mercury Voice

企业已经在使用 Mercury Voice 来驱动智能、低延迟的语音应用。

Audivi AI 使用 Mercury Voice 驱动全自动得来速点餐,处理实时客户对话、复杂的订单修改和定向追加销售,全程无需人工介入。

在得来速点餐时,订单的成败就在那片刻的停顿之间。Mercury Voice 缩短了我们的停顿时间,又无需让我们简化智能体。一旦你听出其中的差别,就很难再接受任何更慢的东西了。

Jason Riggs,Audivi AI 首席产品官

Altur 构建自主语音智能体,为金融机构处理来电,实时协商还款方案并应对异议。在 Altur 的内部基准测试中,Mercury Voice 是测试过的最快模型,且优势明显。

Mercury Voice 是我们测试过的最快模型,遥遥领先。这是语言模型第一次没有成为我们语音流水线中的瓶颈。

Pedro Fernández,Altur 联合创始人兼 CTO

OpenCall 构建处理实时客户来电的 AI 电话智能体。在其生产工作负载中,Mercury 将模型响应延迟中位数降至接近 170 毫秒。  

任何做实时智能体的公司都不得不在响应智能的模型和响应即时的模型之间做选择。你不必为了速度而牺牲智能。有了 Mercury,两者可以兼得。

Oliver Silverstein,OpenCall 联合创始人兼 CEO

定价

Mercury Voice 的定价为每百万输入 token 0.40 美元,每百万输出 token 1.50 美元。发布时享 5 折优惠:每百万输入 0.20 美元,每百万输出 0.75 美元。

对于典型的语音智能体使用场景,这相当于每分钟对话约 0.009 美元。这比 GPT-4.1(每分钟 0.045 美元)便宜约 5 倍。

开始使用

对于企业客户,Mercury Voice 即日起可通过 Inception API 以兼容 OpenAI API 的端点形式使用。因此,它可以直接接入你所使用的任何语音智能体平台或框架的 LLM 位置:LiveKit、Pipecat、Vapi、Retell,或你自己的框架。

有兴趣使用 Mercury Voice 的企业客户可通过 sales@inceptionlabs.ai 联系我们获取访问权限。

来源:Inception Labs:Blog · inceptionlabs.ai