xAI 推出 Custom Voices,可在 Grok TTS 和 Voice Agent API 中使用克隆语音
xAI 推出 Custom Voices,录制约一分钟自然语音即可在不到两分钟内克隆出可投入生产的语音模型,适用于 Grok Text to Speech 和 Voice Agent API。
推荐理由:原文给出克隆流程、验证机制和定价细节,读者可判断这项语音克隆能力是否适合接入自己的应用。
xAI 推出 Custom Voices,录制约一分钟自然语音即可在不到两分钟内克隆出可投入生产的语音模型,适用于 Grok Text to Speech 和 Voice Agent API。
推荐理由:原文给出克隆流程、验证机制和定价细节,读者可判断这项语音克隆能力是否适合接入自己的应用。
苹果公司将于5月4日至8日在西班牙巴塞罗那举行的ICASSP 2026上展示其最新研究成果,并再次赞助该会议。本届会议汇聚了专注于信号处理及其应用的科学与工业研究界人士。苹果的参与凸显了其在相关前沿技术领域的持续投入。
ElevenLabs 发布 AI 音乐平台 ElevenMusic,将听歌、混音和原创创作整合在同一系统内,现已可在 App 和网页端使用。平台上线时已有超过 4,000 名独立和新兴艺术家在上面创作,并同步推出包含 Danger Twins、Justin Love 等艺人曲目的 Eleven Album Vol. 2,用户可对曲目换风格、调节奏或重新演绎。
推荐理由:原文给出了平台的核心玩法和创作者收益机制,读者可以了解听歌、混音与创作如何被整合为一条链路。
xAI 发布旗舰语音模型 grok-voice-think-fast-1.0,现已开放 API,定位客户支持、电话销售等复杂多步语音智能体场景。模型在 τ-voice Bench 排行榜登顶,原生支持 25+ 种语言,可在后台推理而不增加响应延迟;在 Starlink 的实际部署中达到 20% 电话销售转化率、70% 客服自主解决率,单个智能体使用 28 个工具。
推荐理由:原文给出模型的核心能力设计、τ-voice Bench 排名和 Starlink 实际部署数据,读者可以据此评估其在语音智能体场景的适用性。
xAI发布Grok语音转文本(STT)与文本转语音(TTS)两款独立API,采用与Grok Voice、Tesla及Starlink相同技术栈。STT支持批量(0.10美元/小时)与实时流式(0.20美元/小时)转录,电话实体识别词错率仅5.0%,整体6.9%,优于竞品,支持25种以上语言及说话人分离。TTS定价4.20美元/百万字符,可通过[laugh]等标签精细控制情感语调。
推荐理由:xAI 把 Grok 的语音能力拆成独立 API 放出,STT 在实体识别上碾压几个老牌竞品,定价也不算贵,做语音 agent 的可以直接加进方案里对比。
Google正式发布Gemini 3.1 Flash TTS,作为下一代表现力AI语音技术,该模型现已全面上线Google旗下各产品线。此次升级标志着Google在语音合成领域的技术突破,旨在为用户提供更自然、富有情感表现力的AI语音交互体验,进一步强化其AI生态系统的语音能力。
推荐理由:Google 把 TTS 的控制权交给了文本指令,音频标签这个设计让语音应用从'选择预设'变成'现场导演',对多模态应用是个实在的增强。
字节 Seed 发布原生多模态音视频生成模型 Seedance 2.0,2026 年 2 月初在中国正式上线,采用统一架构支持文本、图像、音频、视频四种输入模态。
推荐理由:官方技术报告梳理了 Seedance 2.0 的统一架构、多模态输入上限与分辨率规格,读者可对照前代看能力变化。
字节跳动发布原生全双工语音大模型Seeduplex,基于"边听边说"框架实现听说同步交互。相比半双工模型,其在复杂场景下误回复率和误打断率降低50%,抢话比例下降40%,判停延迟缩短约250ms,打断响应延迟缩短约300ms。评测显示,用户通话满意度绝对值提升8.34%,对话流畅度MOS分提升12%。该模型具备精准抗干扰和动态判停能力,可在豆包App最新版本体验。
Microsoft AI 宣布发布 MAI-Transcribe-1、MAI-Voice-1 和 MAI-Image-2 三款模型,即日起所有开发者可在 Microsoft Foundry 和 MAI Playground 使用。
推荐理由:官方同时给出三款模型的定价和 FLEURS 基准对比数据,开发者可以直接在 Foundry 上手评估适用性。
波兰担任 2025 年欧盟理事会轮值主席国期间,理事会总秘书处与 ElevenLabs 合作,将高级别外交记者会配音为英语、法语和波兰语,录音发布在主席国官方 YouTube 频道供观众选择音轨。
美团 LongCat 团队开源的扩散式 TTS 模型摒弃传统的 mel-spectrogram 中间表示,直接在波形潜空间操作,仅通过 Wav-VAE 与扩散骨干网络即可合成语音。该模型修复了训练-推理不匹配问题,并以自适应投影引导替代无分类器引导。最大版本 3.5B 在 Seed 基准实现 SOTA 零样本语音克隆,说话人相似度(SIM)在 Seed-ZH 达 0.818、Seed-Hard 达 0.797,超越此前最优的 Seed-TTS。研究还发现 Wav-VAE 的重建保真度与最终合成质量并非正相关。
推荐理由:美团开源 1B 语音克隆模型,Seed 基准超 Seed-TTS,零样本推理可用
Google Translate 耳机实时翻译功能正式支持 iOS,可将耳机变为个人实时翻译器。该功能同时面向 iOS 和 Android 用户扩展至更多国家。
Gemini 推出 3.1 Flash Live 语音模型,通过提升精度、降低延迟,使语音交互更流畅自然且精准可靠。
Gemini 3.1 Flash Live 已上线 Google 全系产品,提供更自然、可靠的实时音频 AI 交互能力。
推荐理由:Google发布Gemini 3.1 Flash Live,提升音频AI自然度与可靠性
Cohere 发布开源 ASR 模型 Cohere Transcribe,基于 Conformer 编码器-解码器架构,参数量 2B,支持英语、法语、中文、日语、阿拉伯语等 14 种语言,采用 Apache 2.0 许可证。
推荐理由:原文给出了模型规格、WER 数据和推理吞吐表现,读者可以据此评估它在语音识别工作流中的实际可用性。
Cohere 发布开源 ASR 模型 Cohere Transcribe,以 5.42% 的平均 WER 位列 HuggingFace Open ASR Leaderboard 第一,超过 Whisper Large v3、ElevenLabs Scribe v2 和 Qwen3-ASR-1.7B。
Perplexity 在生产环境使用 Realtime-1.5,为 Comet 和 Perplexity Computer 带来语音交互,每月管理数百万语音会话。
Mistral AI 发布 4B 参数的文本转语音模型 Voxtral TTS,支持 9 种语言,3 秒参考音频即可适配新声音。人类评测显示其自然度优于 ElevenLabs Flash v2.5 并与 ElevenLabs v3 质量相当,10 秒样本加 500 字符输入的模型延迟为 70ms。
推荐理由:官方发布首个 TTS 模型,给出了人类评测对比、延迟数据和开源权重入口,可了解其与 ElevenLabs 的实际差距。
Descript 利用 OpenAI reasoning models 实现大规模多语言视频配音,可在自动本地化大型内容库时保持时间同步与语义准确。
OpenMOSS 发布 MOSS-TTS 技术报告,定位为语音生成基座模型,统一零样本音色克隆、长语音生成、时长与发音细粒度控制和多语言混说能力。
Together AI 发布 SF Streets 与 US Streets 两项基准,测试 15 个先进 ASR 模型在街名转写上的表现,发现平均错误率达 39%,非英语母语者准确率比英语母语者低 18 个百分点(46% vs 64%)。
推荐理由:原文用自建基准量化了 ASR 在街名转写上的短板,并给出可复用的合成数据改进方法,对语音部署有直接参考价值。
Manus 推出 Manus Agents,Telegram 为首个支持渠道,今天起向所有订阅层级用户开放。用户在 Manus 工作区打开 Agents 标签页扫码即可连接,无需命令行或配置文件;支持语音、图像和文件输入,可运行多步骤任务,并可在 Manus 1.6 Max 与 Manus 1.6 Lite 间选择模型。
FireRedTeam 发布开源工业级一体化语音识别系统 FireRedASR2S,集成 FireRedASR2(支持中文普通话、20+ 方言口音、英文、中英混说及歌声转写)、FireRedVAD、FireRedLID 和 FireRedPunc 四个模块,均开源权重与推理代码。
推荐理由:官方开源的一体化语音识别系统,给出与 Doubao-ASR、Silero-VAD 等的对比数字和完整推理代码,便于直接部署验证。
inclusionAI 发布了 Ming-omni-tts,这是一个能够统一生成语音、音乐和声音的模型。该模型的核心特点是结构简单高效,并实现了对生成内容的精确控制。它通过一个统一的框架处理多种音频模态,简化了传统上需要不同模型分别处理语音、音乐和音效的流程。这一进展为跨模态音频内容的创作与编辑提供了更便捷、可控的工具。
ElevenLabs 正式发布 ElevenLabs for Government,为公共部门提供语音与聊天 AI 智能体,支持 24/7 多语言自然对话,并具备公共部门级安全、合规与治理能力。
Klarna 基于 ElevenLabs 的 ElevenAgents 平台推出语音 AI 客服,作为美国用户电话支持的第一线,覆盖全部 3500 万美国客户,被该智能体处理的查询解决速度最多快 10 倍。该智能体处理产品咨询、支付状态等信息类请求,并在检测到复杂性或敏感性时无缝转接人工;Klarna 计划将语音 AI 扩展到全球 1.14 亿用户。
Sarvam AI 发布语音识别模型 Saaras V3,原生支持流式低延迟解码,覆盖 22 种印度官方语言加英语共 23 种语言。
FireRedTeam 于 2026-02-10 正式开源 FireRed-OpenStoryline,将视频创作变为自然语言对话,支持素材搜索下载、脚本生成、BGM 与配音字体推荐,以及全流程剪辑。
推荐理由:官方开源的对话式视频剪辑项目,覆盖素材检索、脚本生成到剪辑全流程,并可直接通过 Claude Code 等 Agent Skills 安装使用。
Sarvam AI 发布面向印度语言的文本转语音模型 Bulbul V3,提供 35+ 专业配音声线、支持语音克隆,并新增低延迟流式输出模式。
ElevenLabs 于 2026 年 2 月 4 日宣布完成 5 亿美元 Series D 融资,估值 110 亿美元,较一年前增长超过三倍,总融资达 7.81 亿美元。
推荐理由:官方公告给出融资额、估值变化和 ARR 数字,还交代了资金投向与产品线布局,可据此了解这家语音 AI 公司的扩张重点。
Mistral 发布 Voxtral Transcribe 2,包含 Voxtral Mini Transcribe V2(批量转写)和 Voxtral Realtime(实时转写)两款语音转文字模型。
推荐理由:官方给出了两个语音转写模型的能力边界、延迟数字、基准对比和开放权重细节,便于评估其在语音应用中的可迁移性。
ElevenLabs 宣布其最先进的 Text to Speech 模型 Eleven v3 结束 Alpha 阶段,正式面向所有平台开放。新版本在测试中 72% 的场景被用户认为比 Alpha 更稳定;针对数字、符号和专业记号的处理,内部基准覆盖 8 种语言 27 个类别,错误率从 15.3% 降至 4.9%,整体减少 68%,改进集中在体育比分、货币、化学式等依赖上下文判断符号含义的场景。
推荐理由:原文给出具体的错误率下降数字和示例对比,读者可以据此评估 Eleven v3 正式版在数字和符号朗读上的实际改进。
Sarvam AI 发布语音模型 Sarvam Audio,基于 30 亿参数、在英语和 22 种印度语言上从零预训练的 Sarvam 3B 扩展而来。
OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。
推荐理由:原文给出架构、训练策略和开源范围,读者可以了解端到端音视频生成如何处理同步问题并可复现研究。
Qwen3-ASR 与 Qwen3-ForcedAligner 正式开源,具备鲁棒性、流式处理与多语言能力。Qwen Studio 同步集成聊天机器人、图像视频理解、图像生成、文档处理、网页搜索、工具调用及 Artifacts 等全栈功能。
Revolut 部署 ElevenLabs Agents 作为英国和欧洲客户语音支持的一线,覆盖超 400 万客户,首阶段将问题解决时间缩短 8 倍以上。该智能体支持 30 多种语言实时切换,可在 5 分钟内解决工单,超 99.7% 的来电成功处理,并满足 PCI 合规与零留存要求。Revolut 在对比多家供应商后选择了 ElevenLabs,同时保留自身的编排与业务逻辑控制权。
MiniMax 发布新一代语音模型 MiniMax Speech 2.8,通过原生声音标签技术模拟人类口语中的"嗯"、"啊"等填充词及呼吸停顿,显著提升对话自然度。该模型支持10秒样本高保真声音克隆,精准还原音色与语速,同时消除背景噪音与数字伪影,输出录音室级纯净音质。此外,模型优化了跨语言表现,从普通话-日语对开始解决口音渗透问题,实现更接近母语者的发音效果。
推荐理由:10秒样本克隆真人声线,AI说话带'嗯啊'呼吸声,MiniMax语音模型上新
Qwen Studio 功能全面,涵盖聊天机器人、图像与视频理解、图像生成、文档处理、网页搜索集成、工具调用及 artifacts 等模块。
ElevenLabs 发布由 Eleven Music 驱动的专辑 The Eleven Album,收录 Liza Minnelli、Art Garfunkel 等 14 位艺术家创作的全原创曲目,风格涵盖说唱、流行、R&B、EDM 和影视配乐。
通义语音团队开源 Fun-CineForge,包含端到端配音数据集管线和面向多样影视场景的 MLLM 配音模型,并发布首个大规模中文电视剧配音数据集 CineDub-CN。