Qwen 发布 Qwen3.8-LiveTranslate 实时同传模型,LAAL 降至 2.3 秒
Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。
推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。
Qwen 发布 Qwen3.8-LiveTranslate,采用 Interleave 架构与 Hybrid-MoE Thinker–Talker 设计重构实时同声传译,平均滞后(LAAL)从上一代的 2.8 秒降至 2.3 秒。
推荐理由:官方给出了架构设计、LAAL 从 2.8 秒到 2.3 秒的数字和多语言评测结果,读者可以据此评估其实时翻译能力的实际变化。
Qwen 发布下一代原生全模态模型 Qwen3.8-Omni-Flash,支持文本、图像、音频和视频输入及 1M token 上下文窗口,29 项评测平均分较 Qwen3.5-Omni-Plus 提升超过 25%,音频输入每小时价格下降超过 98%,音视频输入每小时价格下降超过 93%。
推荐理由:官方发布同时开放 API 和开源插件与运行时,读者可以据此评估音视频智能体在剪辑、会议、实时交互等工作流中的落地方式。
蚂蚁集团 inclusionAI 在 Hugging Face 发布 Realtime-Venus,包含 Realtime-Venus-Omni 和 Realtime-Venus-Audio 两个 9B 检查点,基于 MiniCPM-o 4.5 / Omni-Flow 架构,语言骨干为 Qwen3-8B。
蚂蚁集团 Venus 团队与清华大学在 GitHub 开源 Realtime-Venus,一个支持全双工对话与异步任务委托的实时交互系统。系统包含三个组件:Realtime-Venus-Omni(9B,流式音视频对话与主动交互)、Realtime-Venus-Audio(9B,语音交互与音频理解)以及负责后台任务执行并将结果返回同一对话的 Harness 运行时。
推荐理由:蚂蚁和清华开源了全双工对话加异步委托任务的系统,含 9B 的 Omni 与 Audio 两个模型和 Harness 运行时,可直接下载推理或跑浏览器 demo。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两个近实时语音对话模型,主打语音智能体和复杂任务执行。
推荐理由:原文给出两个语音对话模型的定位分工和多项基准数字,读者可以据此评估其推理、成本与工具调用能力。
Google 在 Gemini API 更新日志中宣布 Gemini 3.8 Live(gemini-3.8-live)与 Gemini 3.8 Live Extended Thinking(gemini-3.8-live-extended-thinking)正式可用(GA),面向实时多模态对话与智能体工具调用。
OpenRouter 通过 OpenAI 兼容的 POST /api/v1/audio/speech 端点提供文本转语音服务,一个 API key 可调用多家供应商的 TTS 模型。
GPT-Live-1 is now available in the API. Bring ChatGPT’s natural back-and-forth to your app, with voice agents that listen while they speak and work with the models and harness you choose.
OpenAI 在 API 中发布语音模型 GPT-Live-1,可同时听和说,支持将推理和工具调用委派给 GPT-6 Astra 等后端模型,前端语音层定价为每分钟 $0.05。
推荐理由:原文给出单模型全双工语音架构、基准变化和定价,读者可以据此评估它能否简化现有语音 Agent 的分层方案。
ElevenLabs 与 Universal Music Group 宣布达成多年期授权协议与战略合作,这是 ElevenLabs 首次与主要唱片公司签订涵盖授权和产品开发的协议。
推荐理由:这是 ElevenLabs 首次与主要唱片公司达成授权与产品开发合作,读者可以据此了解授权模式下 AI 音乐产品的走向。
Microsoft AI 发布转录模型 MAI-Transcribe-2,称其在 FLEURS 基准 60 种语言上平均词错率 5.2% 排名第一,并占据 Artificial Analysis 准确率-延迟 Pareto 前沿。
推荐理由:官方给出具体基准排名、对比速度倍数和定价,读者可以据此评估它对现有语音转写方案的可替换性。
Google 发布八月 AI 更新汇总:推出面向编码和 Agent 的工作模型 Gemini 3.7 Flash,价格为 Gemini 3.6 Flash 推出价的一半每百万 token。
Meta Superintelligence Labs 发布 Muse Voice Transcribe,称其为首个实时音频感知模型,提供流式 ASR、最多 20+ 说话人的 diarization 和 endpointing。
推荐理由:原文给出流式 ASR、说话人分离和自适应延迟的技术细节与架构说明,读者可以了解其实时语音感知的实现方式。
Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型,支持流式与非流式两种 API。据 Artificial Analysis 评测,其流式与非流式平均词错率分别为 4.0% 和 2.6%,支持超 85 种语言、自定义词汇及最多三人说话人识别。
推荐理由:相较于上一代 Chirp 3,流式词错率降到 4.0% 且最终转录延迟改善 70%,会影响语音代理和实时字幕方案的成本与体验取舍。
Google 在 Gemini API 更新日志中宣布 Gemini 3.5 Transcribe 系列正式可用(GA),包含两个语音转文字模型。
IBM 发布 Granite 4.2 语言模型,提供 3B、8B、30B 三种参数规模,内置逐步推理与工具调用能力,面向企业智能体工作流,采用 Apache 2.0 许可。
Google 在 ADK 中引入原生 live 评测,可用模拟用户以音频形式驱动语音智能体、对口头回复打分,并复用已有的文本评测流程。
ElevenLabs 发布 CLI v1,把 ElevenLabs API 直接带入终端,OpenAPI spec 中的所有 API 端点都可用作子命令。
推荐理由:官方介绍 CLI 的 agents-first 设计细节,读者可以了解如何用文件和版本控制管理大规模 Agent 配置工作流。
Artificial Analysis 推出 Speech Agent Arena,让人类参与者在 15 个工具调用场景和 20 个非工具场景中盲测对比 Speech to Speech 模型,以 Preference Elo 和 Task Success Rate 评分。
推荐理由:原文给出真实任务下语音智能体的偏好与任务成功率两套结果,提示对话好听不等于任务完成。
FireRedTeam 发布 FireRedAudio 的代码与模型,一个基于 9B 参数 LLM 的通用音频语言模型,采用理解与生成解耦的连续表征设计。单模型支持 ASR、音频理解、零样本 TTS、指令 TTS、语义与声学语音编辑,以及最长一小时录音的时序定位理解,在 MMAU、Seed-TTS-Eval 等基准上取得竞争性或领先结果。
推荐理由:官方发布了代码和权重,读者可以据此了解用一个 9B 骨干同时覆盖语音理解与生成的解耦表征设计。
FireRedTeam 发布 FireRedTTS3,包含 Base 和 Instruct 两个变体,基于语义增强连续语音表征实现统一语音生成与编辑。
推荐理由:原文给出两个模型变体、语言覆盖和多项评测对比数据,读者可以据此评估它的克隆与编辑能力。
QwenAudio Toolkits 是一款本地优先的桌面工作台,定位为对话式 Agent 驱动的音视频创作 IDE,首个公开预览支持 Apple Silicon、macOS 14.2 及以上版本。
推荐理由:官方文档给出了能力清单、支持范围和隐私边界,读者可以据此评估这款本地音频 AI 工作台是否适合自己的创作流程。
字节 Seed 发布 SeedRealtime,用统一架构原生融合音频、视频与文本,实现“边看、边听、边说”的实时交互。相比级联模型,其音视频对话节奏问题减少一半,并已在豆包 App 全量上线,率先实现音视频全双工技术的规模化落地。
推荐理由:SeedRealtime 将音视频感知与表达统一到同一端到端模型中,级联系统常见的说话节奏问题减少了一半,实时场景中能主动提醒并自然停顿,为全模态智能助手交互提供了新的技术路线。
LangChain 官方博客介绍如何用 LangSmith 评估语音智能体,覆盖执行、结果与来电者体验三个层面。评估手段包括 LangSmith traces、代码评估器、LLM judges 和人工审查,帮助开发者系统化验证语音智能体的实际表现。
OpenAI 推出 GPT-Live,实现与 AI 的连续语音交互。该系统采用无轮次语音模型和低延迟架构,使对话更快、更自然。GPT-Live 的构建耗时六个月,核心在于减少交互延迟并支持不间断对话。
ElevenLabs 连接器已在 Manus 上线,用户通过对话即可生成语音、转录录音、克隆声音并构建音频应用,无需编写代码或管理 API 密钥。该连接器需绑定有效的 ElevenLabs 账户,音频生成与转录均通过 ElevenLabs API 在用户自有账户环境中完成,账单和使用记录仍由 ElevenLabs 管理。可用功能取决于用户的 ElevenLabs 套餐和积分余额。
avatarin 借助 OpenAI 的 GPT-Realtime,为山田电机顾客提供 24/7 多语言支持。上线两周内,已有 3 万人使用该智能体,92% 的调研反馈为正面评价。
Inception Labs 把新 API key 的免费 token 额度从 1000 万提升到 1 亿,免费层速率限制提高 10 倍,并将 Mercury 2 上线 Baseten。Mercury 2 自发布以来持续优化,首 token 时间与端到端延迟降低,工具调用更可靠,在实时语音、搜索、编程智能体和多智能体工作流中改善明显。
Apple 为 Siri Expressive Voices 推出了一种内存高效的音频合成架构,其 detokenizer 在 AMX 上以约 10ms/步运行,峰值内存仅约 21MB。相比此前设备端系统,该架构将 Mean Opinion Score (MOS) 整体提升 +0.28(4.15 vs. 3.87),对话语音提升 +0.42(4.24 vs. 3.82)。
QwenAudio 开源 qwen-audio-agent,一个让 Agent 保持在线的实时语音运行时,前台对话与后台任务并行,任务结果自动回到当前对话。
推荐理由:原文给出了前台语音对话加后台 Agent 执行的架构设计与多款后端 Agent 接入方式,读者可据此评估是否接入自己的工作流。
ElevenLabs 与巴西最高选举法院(TSE)签署合作备忘录,为其"选举助手"加入语音层,基于其文本转语音与语音转文本技术,让公民通过网站、App 和 WhatsApp 用语音获取选举信息,这是该公司首次与国家选举机构合作。
ChatGPT Voice is now in the desktop app. Control your computer and direct multiple agents running in ChatGPT Work or Codex, using just your voice. It's powered by GPT-Live, so it can speak, listen, and coordinate work in the app at the same time. Rolling out globally today on macOS and Windows to Plus, Pro, Business, Edu, and Enterprise plans.
Microsoft AI 发布 MAI-Image-2.5-Pro 和 MAI-Voice-2-Flash 两款新模型公开预览版。
推荐理由:原文给出两款新模型的定价、性能数字和已落地的产品场景,读者可以据此评估在质量速度成本曲线上的选型。
美国租房市场呈现结构性矛盾:2024年公寓竣工量超60万套创38年新高,空置率也创新高,但全国公寓缺口仍达500万套。租户“租金焦虑指数”自2024年8月持续攀升,旧金山在14个月内上涨15个百分点并于2025年底超越纽约。
OpenRouter 推出 POST /api/v1/audio/transcriptions 端点,用户可使用同一 API key 将 base64 编码音频发送至该端点,返回 JSON 格式文本与用量对象。
推荐理由:OpenRouter 把语音转录集成进 API,一份 key 搞定聊天和转写,对已经在用的团队省心不少,这篇教程直接可跑。
LangSmith 现已支持追踪基于 Pipecat、LiveKit、OpenAI Realtime 和 Gemini Live 构建的语音智能体。开发者可在单次追踪中捕获音频、语音转文字(STT)和文字转语音(TTS)延迟、中断事件以及工具调用等关键指标。
字节跳动 Seed 团队发布音频创作模型 Seed Audio 1.0,在统一框架下联合建模人声、音效和环境声,支持 100ms 间隔精度的时间控制、单次约 2 分钟音频的延展生成及 20+ 语种自然生成。该模型已在火山方舟体验中心上线,多数场景音频可用率达 90% 以上,多语言音频自然度 MOS 超 4 分。
推荐理由:字节这次发布的 Seed Audio 1.0 不是又一个 TTS 模型,它把台词、音效、氛围统一编排,并支持百毫秒级时间线控制,对做视频和出海内容的团队是个立刻能用的创作升级。
Inception Labs 发布 Mercury 2,称其为全球首个推理扩散语言模型(dLLM),在 NVIDIA H100 上以 1000+ token/秒并行解码,300 token 的推理链可在约 300ms 内完成,适配语音对话延迟预算。
推荐理由:官方给出扩散架构推理模型在 NVIDIA GPU 上的延迟与定价数据,语音 Agent 开发者可以据此评估是否能替换现有默认模型。
微软 AI 与创意工作室 Gravity Road 合作推出 Ode Poetry,基于 MAI 音频模型打造数字诗歌体验,可实时理解用户情绪并推荐诗歌,由真人朗读录音呈现。
OpenAI 今日推出 GPT‑Live,基于全双工架构实现同时听与说,支持自然打断与实时回馈。该模型每秒多次判断是否说话、倾听、打断或调用工具,并将搜索、推理等复杂任务委托给后台 GPT‑5.5,保持对话流畅。即日起向全球 ChatGPT 用户提供 GPT‑Live‑1 和 GPT‑Live‑1 mini 两个版本。人类评估显示,在 5‑10 分钟对话中,GPT‑Live‑1 系列在自然度、轮流、打断等方面显著优于 Advanced Voice Mode;在 GPQA、BrowseComp 和 τ³‑Voice Telecom 基准测试中也表现更强。未来将开放 API。
推荐理由:GPT‑Live 不是简单的语音版本升级,全双工架构让 AI 终于能同时听和说,加上后台调用 GPT‑5.5,对话体验跨了一大步,做语音应用的产品人该重新思考交互流程了。