跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频：语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

193 条精选近 30 天 18 条共收录 1,434 条

更新

精选归档 · 第 8 页

4月15日周三第 141–160 条
  1. 字节 Seed：Research Papers66

    字节 Seed 发布 Seedance 2.0 音视频联合生成模型

    字节 Seed 发布原生多模态音视频生成模型 Seedance 2.0，2026 年 2 月初在中国正式上线，采用统一架构支持文本、图像、音频、视频四种输入模态。

    推荐理由：官方技术报告梳理了 Seedance 2.0 的统一架构、多模态输入上限与分辨率规格，读者可对照前代看能力变化。

4月3日周五
4月2日周四
  2. Microsoft AI：官方博客66

    Microsoft AI 发布 MAI-Transcribe-1、MAI-Voice-1 与 MAI-Image-2 三款模型，上线 Microsoft Foundry

    Microsoft AI 宣布发布 MAI-Transcribe-1、MAI-Voice-1 和 MAI-Image-2 三款模型，即日起所有开发者可在 Microsoft Foundry 和 MAI Playground 使用。

    推荐理由：官方同时给出三款模型的定价和 FLEURS 基准对比数据，开发者可以直接在 Foundry 上手评估适用性。

3月30日周一
  1. 美团 LongCat：HuggingFace 新模型

    LongCat-AudioDiT-1B：高保真波形潜空间扩散式文本转语音模型

    美团 LongCat 团队开源的扩散式 TTS 模型摒弃传统的 mel-spectrogram 中间表示，直接在波形潜空间操作，仅通过 Wav-VAE 与扩散骨干网络即可合成语音。该模型修复了训练-推理不匹配问题，并以自适应投影引导替代无分类器引导。最大版本 3.5B 在 Seed 基准实现 SOTA 零样本语音克隆，说话人相似度（SIM）在 Seed-ZH 达 0.818、Seed-Hard 达 0.797，超越此前最优的 Seed-TTS。研究还发现 Wav-VAE 的重建保真度与最终合成质量并非正相关。

    推荐理由：美团开源 1B 语音克隆模型，Seed 基准超 Seed-TTS，零样本推理可用

3月28日周六
3月27日周五
  1. Demis Hassabis

    Google 发布 Gemini 3.1 Flash Live，称其迄今最高质量音频模型，具备更低延迟、更高精度和更自然的对话体验，改进了函数调用能力。现已在 Gemini App 和 Google AI Studio 上线。

    引用Google DeepMind@GoogleDeepMind

    欢迎 Gemini 3.1 Flash Live。🗣️ 我们最新的音频模型带来了更自然的对话体验，并改进了函数调用——使其更加实用且信息更丰富。以下是新功能介绍 🧵

    推荐理由：Google发布Gemini 3.1 Flash Live，支持低延迟语音交互与Agent构建

3月26日周四
  5. Demis Hassabis

    Google DeepMind 推出 Lyria 3 Pro，可生成最长3分钟的高保真音乐，支持自由编排前奏、主歌、副歌与桥段。Google AI 订阅者现可在 Gemini App 体验，开发者也能通过 Google AI Studio API 接入创作。

    引用Google DeepMind@GoogleDeepMind

    你现在可以用 Lyria 3 Pro 创作更长的曲目了。🎶 规划前奏、主歌、副歌和桥段，构建长达 3 分钟的高保真作品。🎹

    推荐理由：Google Lyria 3 Pro 支持生成 3 分钟结构化音乐，已上线 Gemini App

  6. Cohere Labs：官方研究博客65

    Cohere 发布开源语音识别模型 Cohere Transcribe，登顶 HuggingFace Open ASR Leaderboard

    Cohere 发布开源 ASR 模型 Cohere Transcribe，基于 Conformer 编码器-解码器架构，参数量 2B，支持英语、法语、中文、日语、阿拉伯语等 14 种语言，采用 Apache 2.0 许可证。

    推荐理由：原文给出了模型规格、WER 数据和推理吞吐表现，读者可以据此评估它在语音识别工作流中的实际可用性。

3月24日周二
  1. Hugging Face 社区博客78

    全新语音智能体评估框架EVA发布

    ServiceNow AI团队在Hugging Face上发布了语音智能体评估框架EVA。该框架通过标准化测试集与多模态指标，系统评估语音助手在对话理解、任务完成及交互自然度等方面的性能，旨在量化衡量智能体在复杂真实场景下的表现，助力研究人员客观比较不同模型，推动技术优化。

    推荐理由：提供语音代理评估标准，帮助开发者优化模型性能和测试效率。

3月23日周一
  1. Mistral AI：News64

    Mistral AI 发布 Voxtral TTS 语音生成模型并开放权重

    Mistral AI 发布 4B 参数的文本转语音模型 Voxtral TTS，支持 9 种语言，3 秒参考音频即可适配新声音。人类评测显示其自然度优于 ElevenLabs Flash v2.5 并与 ElevenLabs v3 质量相当，10 秒样本加 500 字符输入的模型延迟为 70ms。

    推荐理由：官方发布首个 TTS 模型，给出了人类评测对比、延迟数据和开源权重入口，可了解其与 ElevenLabs 的实际差距。

2月24日周二
2月23日周一
  1. Together AI 研究与产品博客63

    Together AI 发布 SF Streets 基准，揭示语音模型街名转写错误率达 39% 并用跨语言风格迁移降低 60% 错误

    Together AI 发布 SF Streets 与 US Streets 两项基准，测试 15 个先进 ASR 模型在街名转写上的表现，发现平均错误率达 39%，非英语母语者准确率比英语母语者低 18 个百分点（46% vs 64%）。

    推荐理由：原文用自建基准量化了 ASR 在街名转写上的短板，并给出可复用的合成数据改进方法，对语音部署有直接参考价值。

2月12日周四
  1. FireRedTeam：原创语音与多模态项目61

    FireRedTeam 开源 FireRedASR2S 一体化语音识别系统，含 ASR、VAD、LID 和标点四个模块

    FireRedTeam 发布开源工业级一体化语音识别系统 FireRedASR2S，集成 FireRedASR2（支持中文普通话、20+ 方言口音、英文、中英混说及歌声转写）、FireRedVAD、FireRedLID 和 FireRedPunc 四个模块，均开源权重与推理代码。

    推荐理由：官方开源的一体化语音识别系统，给出与 Doubao-ASR、Silero-VAD 等的对比数字和完整推理代码，便于直接部署验证。

2月7日周六
  1. FireRedTeam：原创语音与多模态项目63

    FireRedTeam 开源 FireRed-OpenStoryline 对话式视频创作工具

    FireRedTeam 于 2026-02-10 正式开源 FireRed-OpenStoryline，将视频创作变为自然语言对话，支持素材搜索下载、脚本生成、BGM 与配音字体推荐，以及全流程剪辑。

    推荐理由：官方开源的对话式视频剪辑项目，覆盖素材检索、脚本生成到剪辑全流程，并可直接通过 Claude Code 等 Agent Skills 安装使用。

2月4日周三
  1. ElevenLabs：Blog65

    ElevenLabs 融资 5 亿美元 Series D，估值 110 亿美元

    ElevenLabs 于 2026 年 2 月 4 日宣布完成 5 亿美元 Series D 融资，估值 110 亿美元，较一年前增长超过三倍，总融资达 7.81 亿美元。

    推荐理由：官方公告给出融资额、估值变化和 ARR 数字，还交代了资金投向与产品线布局，可据此了解这家语音 AI 公司的扩张重点。