跳到正文
Inception Labs:Blog·· 20 小时前精选AI 评分69

Inception Labs 发布扩散大语言模型 Mercury 3,速度达 1068 tokens/秒

Diffusion at Scale: Introducing Mercury 3

AI 导读

Inception Labs 发布扩散式大语言模型 Mercury 3,称其在多项基准上超过 GPT-6 Luna 和 Claude Haiku 5.5,速度达 1068 tokens/秒,参数量较 Mercury 1 扩大 40 倍以上。

推荐理由

官方发布给出扩散模型规模化的关键数据,包括速度、上下文和价格,可用作评估实时 AI 应用选型的参考。

正文 · AI 翻译

今天我们推出 Mercury 3,这是迄今为止发布的最强大的基于扩散的 LLM。在一系列基准测试中,Mercury 3 的表现优于 GPT-6 Luna 和 Claude Haiku 5.5,同时运行速度快 4–8 倍,达到每秒 1,000+ 个 token。

Mercury 3 证明了文本扩散可以扩展。它的规模比 Mercury 1 大 40 倍以上,智能程度也大幅提升,但速度同样快。

Intelligence vs. model size

早期访问合作伙伴已经在使用 Mercury 3 进行语音和聊天支持、实时辅导、数据工程和网页导航:

Mercury 3 一览

  • 质量:与 GPT-6 Luna 和 Claude Haiku 5.5 等前沿速度优化模型持平或更优。

  • 速度:在 NVIDIA GPU 上每秒 1,068 个 token。 

  • 上下文:1M token,高于 Mercury 2.5 的 260K

  • 价格:每百万输入 token 0.20 美元,每百万输出 token 0.70 美元。

    • 发布时,Mercury 3 享受 50% 折扣,每 1M 输入 token 0.10 美元,每 1M 输出 token 0.35 美元。缓存 token 在输入价格基础上享受 90% 折扣。

Mercury 3 benchmark results

大规模扩散

当我们推出 Mercury 1 时,它是扩散 LLM 可以为商业应用构建的第一个证明点。AI 社区悬而未决的问题是,扩散 LLM 能否扩展到在复杂用例上与自回归模型竞争。

Mercury 3 回答了这个问题:它们可以。我们将 Mercury 的总参数量扩展了 40 倍以上,在一系列标准基准上的智能水平从 Mercury 1(mini)到 Mercury 3 提升了 3 倍。推动自回归模型进步的缩放定律同样适用于扩散。

Intelligence vs. model size

生产环境中的 Mercury 3

早期访问合作伙伴已经在运行 Mercury 3,为浏览器使用智能体、互动教育、实时搜索智能体和客户支持等对延迟敏感的应用提供支持。

浏览器使用智能体

智能体在每一步都要等待模型,因此小的延迟会迅速累积。无论智能体是在浏览网站、跨来源研究,还是分析日志和追踪事件,Mercury 都能让每一轮保持快速。智能体能更早完成,并在回答前有时间尝试更多方法。

我们在生产环境的网页智能体框架中,针对前沿模型,在 50 个实时 Mind2Web 导航任务上运行了 Mercury 3。Mercury 3 完成了其中 50%,显著多于 GPT-6.1-Sol。它使用与前沿模型相同的 token 量和相同的智能体步数做到这一点,而每 token 成本仅为其一小部分。

Shuhao Zhang,TinyFish AI 联合创始人

互动教育

学习依赖快速反馈循环,任何延迟都会让学生脱离材料。Mercury 对每个请求进行推理并近乎实时地响应,无论是进行对话的语音辅导老师、批改作业的助手,还是根据学生刚做错的内容调整下一道题的应用。

Mercury 3 让我们能够为每个学生提供即时反馈,同时不放弃推理。提示、批改答案和定义现在大约一秒内返回,质量与我们之前运行的模型一样好或更好。当学生卡在一道题上时,这种速度让他们继续思考而不是等待,而且它可以无缝替换我们现有的技术栈。

Michael Tong,General Learning(又名 RevisionDojo)联合创始人/CTO

实时搜索智能体

搜索应用在仅仅几秒延迟后就开始让人感觉无响应。Mercury 3 运行速度足够快,可以处理数十份文档,并在用户仍保持参与时给出答案。

在智能眼镜上,一个需要五秒才能给出的答案会让人觉得系统坏了。在我们的 Sense API 测试中,Octen 搜索耗时约 80ms;模型生成才是瓶颈。在我们测试过的快速模型中,Mercury 3 在速度与质量之间取得了最佳平衡,生成时间中位数为 0.9 秒,端到端响应时间中位数为 2.2 秒。

Kuan Zou,Octen AI 创始人兼 CEO

客户支持

支持人员必须快速作答,而且往往服务于受监管行业,答错的代价很高。Mercury 让回复保持对话感,同时不牺牲准确性。

在 Lorikeet,我们帮助复杂且受监管的企业为客户构建礼宾服务,覆盖语音、聊天和电子邮件。在聊天和语音场景中,客户需要快速响应,但我们不能在准确性或正确完成任务上妥协。在早期测试中,Mercury 3 在延迟上优于其他模型,同时在评估和生产环境中的表现也更高。

Michael Gribben,Lorikeet 技术团队成员

实时产品组合

Mercury 3 是不断扩大的实时 AI 产品组合中的旗舰模型。

  • Mercury Voice:Mercury Voice 针对语音应用极低的延迟要求进行了定制,并致力于最小化首个答案 token 的时间(TTFAT),而不仅仅是端到端延迟。它已在 Audivi AI、Altur 和 OpenCall 为智能体提供支持。 

  • Mercury Decide:Mercury Decide 是专为大批量分类构建的决策模型。它在包括 JevBench 和 LegalBench 在内的基准测试中优于 Jev。

开始使用

Mercury 3 现已在 Inception API Platform 上线,并可通过 OpenRouter、Baseten 和 Vercel 使用。它兼容 OpenAI API,因此无需重写即可接入你现有的技术栈。企业部署支持专用容量、自动扩缩容、合规控制和可配置的数据保留。

Mercury 3 已上线。扩散模型正在扩展。

来源:Inception Labs:Blog · inceptionlabs.ai