inclusionAI/Ming-omni-tts
inclusionAI 发布了 Ming-omni-tts,这是一个能够统一生成语音、音乐和声音的模型。该模型的核心特点是结构简单高效,并实现了对生成内容的精确控制。它通过一个统一的框架处理多种音频模态,简化了传统上需要不同模型分别处理语音、音乐和音效的流程。这一进展为跨模态音频内容的创作与编辑提供了更便捷、可控的工具。
inclusionAI 发布了 Ming-omni-tts,这是一个能够统一生成语音、音乐和声音的模型。该模型的核心特点是结构简单高效,并实现了对生成内容的精确控制。它通过一个统一的框架处理多种音频模态,简化了传统上需要不同模型分别处理语音、音乐和音效的流程。这一进展为跨模态音频内容的创作与编辑提供了更便捷、可控的工具。
ElevenLabs 正式发布 ElevenLabs for Government,为公共部门提供语音与聊天 AI 智能体,支持 24/7 多语言自然对话,并具备公共部门级安全、合规与治理能力。
Klarna 基于 ElevenLabs 的 ElevenAgents 平台推出语音 AI 客服,作为美国用户电话支持的第一线,覆盖全部 3500 万美国客户,被该智能体处理的查询解决速度最多快 10 倍。该智能体处理产品咨询、支付状态等信息类请求,并在检测到复杂性或敏感性时无缝转接人工;Klarna 计划将语音 AI 扩展到全球 1.14 亿用户。
Sarvam AI 发布语音识别模型 Saaras V3,原生支持流式低延迟解码,覆盖 22 种印度官方语言加英语共 23 种语言。
FireRedTeam 于 2026-02-10 正式开源 FireRed-OpenStoryline,将视频创作变为自然语言对话,支持素材搜索下载、脚本生成、BGM 与配音字体推荐,以及全流程剪辑。
推荐理由:官方开源的对话式视频剪辑项目,覆盖素材检索、脚本生成到剪辑全流程,并可直接通过 Claude Code 等 Agent Skills 安装使用。
Sarvam AI 发布面向印度语言的文本转语音模型 Bulbul V3,提供 35+ 专业配音声线、支持语音克隆,并新增低延迟流式输出模式。
ElevenLabs 于 2026 年 2 月 4 日宣布完成 5 亿美元 Series D 融资,估值 110 亿美元,较一年前增长超过三倍,总融资达 7.81 亿美元。
推荐理由:官方公告给出融资额、估值变化和 ARR 数字,还交代了资金投向与产品线布局,可据此了解这家语音 AI 公司的扩张重点。
Mistral 发布 Voxtral Transcribe 2,包含 Voxtral Mini Transcribe V2(批量转写)和 Voxtral Realtime(实时转写)两款语音转文字模型。
推荐理由:官方给出了两个语音转写模型的能力边界、延迟数字、基准对比和开放权重细节,便于评估其在语音应用中的可迁移性。
ElevenLabs 宣布其最先进的 Text to Speech 模型 Eleven v3 结束 Alpha 阶段,正式面向所有平台开放。新版本在测试中 72% 的场景被用户认为比 Alpha 更稳定;针对数字、符号和专业记号的处理,内部基准覆盖 8 种语言 27 个类别,错误率从 15.3% 降至 4.9%,整体减少 68%,改进集中在体育比分、货币、化学式等依赖上下文判断符号含义的场景。
推荐理由:原文给出具体的错误率下降数字和示例对比,读者可以据此评估 Eleven v3 正式版在数字和符号朗读上的实际改进。
Sarvam AI 发布语音模型 Sarvam Audio,基于 30 亿参数、在英语和 22 种印度语言上从零预训练的 Sarvam 3B 扩展而来。
OpenMOSS 团队发布 MOVA 音视频基础模型,总参数 32B MoE、激活 18B,支持文本或图像到音视频的端到端同步生成,最高 720p、单段 8 秒。模型采用非对称双塔架构(14B Wan 2.2 I2V 视频塔与 1.3B 音频塔)加双向 Bridge 和 Aligned ROPE 对齐时间轴,并开放模型权重、训练与推理代码及微调方案。
推荐理由:原文给出架构、训练策略和开源范围,读者可以了解端到端音视频生成如何处理同步问题并可复现研究。
Qwen3-ASR 与 Qwen3-ForcedAligner 正式开源,具备鲁棒性、流式处理与多语言能力。Qwen Studio 同步集成聊天机器人、图像视频理解、图像生成、文档处理、网页搜索、工具调用及 Artifacts 等全栈功能。
Revolut 部署 ElevenLabs Agents 作为英国和欧洲客户语音支持的一线,覆盖超 400 万客户,首阶段将问题解决时间缩短 8 倍以上。该智能体支持 30 多种语言实时切换,可在 5 分钟内解决工单,超 99.7% 的来电成功处理,并满足 PCI 合规与零留存要求。Revolut 在对比多家供应商后选择了 ElevenLabs,同时保留自身的编排与业务逻辑控制权。
MiniMax 发布新一代语音模型 MiniMax Speech 2.8,通过原生声音标签技术模拟人类口语中的"嗯"、"啊"等填充词及呼吸停顿,显著提升对话自然度。该模型支持10秒样本高保真声音克隆,精准还原音色与语速,同时消除背景噪音与数字伪影,输出录音室级纯净音质。此外,模型优化了跨语言表现,从普通话-日语对开始解决口音渗透问题,实现更接近母语者的发音效果。
推荐理由:10秒样本克隆真人声线,AI说话带'嗯啊'呼吸声,MiniMax语音模型上新
Qwen Studio 功能全面,涵盖聊天机器人、图像与视频理解、图像生成、文档处理、网页搜索集成、工具调用及 artifacts 等模块。
ElevenLabs 发布由 Eleven Music 驱动的专辑 The Eleven Album,收录 Liza Minnelli、Art Garfunkel 等 14 位艺术家创作的全原创曲目,风格涵盖说唱、流行、R&B、EDM 和影视配乐。
通义语音团队开源 Fun-CineForge,包含端到端配音数据集管线和面向多样影视场景的 MLLM 配音模型,并发布首个大规模中文电视剧配音数据集 CineDub-CN。
ElevenLabs 发布 Scribe v2,针对批量转录、字幕和规模化标注优化,在长音频、停顿、语气变化和多说话人场景下改进稳定性与准确率,官方称在行业标准基准上取得最低词错误率。
阿里云通义 Fun 团队发布 Fun-Audio-Chat-8B 大音频语言模型,开源模型、训练与推理代码,采用 5Hz 共享骨干加 25Hz 精化头的双分辨率语音表示,宣称 GPU 时数降低近 50%,并通过 Core-Cocktail 训练保留文本 LLM 能力。
Qwen3-TTS 新增语音克隆与语音设计能力,Qwen Studio 集成聊天机器人、图像视频理解、图像生成、文档处理、联网搜索、工具调用及 artifacts 等综合服务。
OpenAI 发布四款新音频模型快照:gpt-4o-mini-transcribe-2025-12-15、gpt-4o-mini-tts-2025-12-15、gpt-realtime-mini-2025-12-15 和 gpt-audio-mini-2025-12-15,覆盖转写、语音合成与原生语音到语音,价格与旧快照相同。
xAI 开放 Grok Voice Agent API,基于自研语音栈(VAD、tokenizer、音频模型),Big Bench Audio 基准排名第一,首音频延迟低于 1 秒(比竞品快近 5 倍),定价 $0.05/分钟。支持数十种语言自动切换、实时搜索 X 和网页、调用自定义工具,已深度集成特斯拉车机。提供 Ara、Eve 等多种自然声线,支持 [whisper] 等听觉标签,兼容 OpenAI Realtime API 规范。
推荐理由:xAI发布Grok语音Agent API,延迟低于1秒且定价仅为OpenAI一半,已集成至Tesla车载系统
通义实验室发布 Fun-ASR 端到端语音识别模型系列并开源。Fun-ASR-Nano-2512 参数量 800M,基于数千万小时语音训练,支持中英日三语、7 种汉语方言和 26 种地方口音;Fun-ASR-MLT-Nano-2512 同为 800M,基于数十万小时训练,支持 31 种语言。
推荐理由:原文给出两个识别模型的训练规模、语言覆盖和开源基准对比,还附部署与推理路径,读者可据此评估在中文和方言场景的可用性。
Google DeepMind 发布更新的 Gemini 2.5 Flash Native Audio 模型,用于实时语音智能体,在 ComplexFuncBench Audio 上取得 71.5%,开发者指令遵循率从 84% 提升到 90%,已在 Google AI Studio、Vertex AI 上线,并开始在 Gemini Live 和 Search Live 推出。
推荐理由:原文给出具体评测分数和功能细节,读者可以据此评估新模型在语音智能体和翻译场景的可用性。
Qwen3-TTS 发布更新,支持 49 种音色、10 种语言和 9 种方言。Qwen Studio 平台同步提供聊天机器人、图像视频理解、图像生成、文档处理、联网搜索、工具调用及 Artifacts 等全栈功能。
Hugging Face 的 Open ASR 排行榜新增多语言和长格式语音识别评估赛道。多语言赛道涵盖8种语言,长格式赛道则测试模型处理连续数分钟语音的能力。新榜单显示,领先模型在多语言任务上的词错误率平均比专用单语模型高约15%,在长格式任务上错误率可能上升超20%,凸显了模型在实际应用中的泛化能力仍面临严峻挑战。
推荐理由:ASR排行榜新增多语言和长形式评估,助力开发者优化语音应用。
OpenAI Developers 发布了一篇新的 Cookbook 教程,介绍如何使用带外(out-of-band)的 Realtime sessions 来转录用户音频。该资料仅提供了标题和链接,未包含具体的技术实现细节或代码示例。
ElevenLabs 发布实时语音转文字模型 Scribe v2 Realtime,延迟低于 150 ms,在 30 种常用欧洲和亚洲语言上达到 93.5% 准确率,并支持约 90 种语言。
推荐理由:官方公布了延迟、准确率等具体指标和主要功能,读者可据此评估其是否适合语音智能体等实时场景。
ElevenLabs 上线 Iconic Marketplace,一个面向企业的双向授权平台,供其申请使用名人声音进行项目与内容创作。平台已有 Michael Caine 及 Dr. Maya Angelou、Alan Turing、Liza Minelli、Art Garfunkel 等 25 位以上名人声音,并与 CMG Worldwide 等机构合作确保授权基于同意与合规。
Together AI 宣布扩展云端语音基础设施,推出 Streaming Whisper 流式转写($0.0035/min)、首个 serverless 开源 TTS(Orpheus 187ms TTFB、Kokoro 97ms TTFB)以及 Voxtral 转写和说话人分离。
MiniMax发布语音模型Speech 2.6,端到端延迟降至250毫秒内,支持实时对话。新增多语言特殊格式解析能力,可自动朗读URL、邮箱、电话、日期及金额,无需预处理。推出Fluent LoRA功能,即使源录音带口音也能保留音色并生成流畅语音,支持40余种语言。已被LiveKit、Vapi等平台及智能硬件采用。
推荐理由:MiniMax发布Speech 2.6语音模型,支持Voice Agent场景,实现超低延迟与Fluent LoRA语音克隆优化。
Hugging Face 发布带授权语音克隆的语音同意门概念及示例 Space 和配套代码。系统先生成包含同意语句和模型名的全新句子,经 ASR 识别确认后,才允许用该音频驱动语音克隆 TTS,使同意成为可审计的系统前提;作者也指出该设计可被其他 TTS 伪造,未来可结合音频溯源和说话人嵌入校验。
美团开源全模态模型LongCat-Flash-Omni,采用5600亿参数MoE架构(激活270亿),支持128K上下文与实时音视频交互。模型基于快捷连接MoE与零计算专家,配备轻量级编解码器及分块特征交错机制,通过课程式渐进训练提升效率。在OmniBench、WorldSense等基准测试中超越Qwen3-Omni与Gemini-2.5-Pro,在文档理解、语音识别及GUI控制等任务中达到领先水平。
推荐理由:美团开源 560B 参数多模态模型,27B 激活即可实现实时音视频交互
meituan-longcat 发布开源项目 LongCat-Audio-Codec,致力于通过开源与开放科学推进人工智能技术的普及与民主化。该项目旨在促进音频编解码技术的开放获取,推动行业技术进步与开放生态建设。
Sierra 通过优化语音到语音管道的每个阶段来降低延迟,使语音 AI 智能体听起来更自然而非机械。其工程方法涵盖从语音识别到生成的全链路延迟压缩,但具体技术细节和量化指标未在原文中披露。
ElevenLabs 为其 agents 平台推出 Agent Workflows,一个用于设计对话流程的可视化编辑器,可将任务路由到专门的 Subagents 并在需要时转接人工。
Liquid AI 发布 LFM2-Audio-1.5B,一个支持音频与文本输入输出的端到端基础模型,扩展了 LFM2 家族。
推荐理由:官方给出了 VoiceBench、ASR 词错率和低于 100ms 的延迟数据,读者可以据此评估 1.5B 参数模型在端侧实时语音场景的可用性。
研究团队发布了Ming-UniAudio,这是一个基于统一表示的大语言模型,专门用于语音任务。该模型能够联合处理语音的理解、生成与编辑,实现了多种语音功能的集成。它通过统一的框架,将传统上分离的语音识别、合成和修改任务整合进单一系统,提升了处理效率与协同能力。
inclusionAI团队推出了MingTok-Audio,这是首个能有效融合语义与声学特征的统一连续语音分词器,适用于语音理解与生成任务。该模型基于纯因果Transformer架构,去除了卷积层以提升效率,并采用VAE进行连续特征建模以实现高质量音频重建。在语音重建性能上,其帧率为50,在SEED-ZH和SEED-EN测试集上的PESQ分别达到4.21和4.04,SIM为0.96,STOI为0.98,显著优于对比模型。在下游ASR任务中,其在多个方言数据集上取得了更低的错误率,例如在Hunan Minnan数据集上WER低至9.80%。
推荐理由:蚂蚁把语音 tokenizer 做到了 PESQ 4.2 的离谱分数,比第二名翻了快一倍,做语音理解和生成的团队值得拿这个当新 baseline 跑一下。
小米开源其首个原生端到端语音大模型 Xiaomi-MiMo-Audio,被定位为语音开源领域的“LLaMA 时刻”,对标此前语音闭源领域的“GPT-3 时刻”。该模型具体参数、评测分数及开源协议尚未披露。