跳到正文

技术方向

语音与音频 最新动态

AI 语音与音频:语音合成、实时语音对话、音乐生成与音频理解的模型与产品。

197 条精选近 30 天 11 条共收录 1,509 条

更新

精选归档 · 第 8 页

4月23日周四第 141–160 条
  1. IT之家·人工智能74

    谷歌确认基于 Gemini AI 的苹果新版 Siri 今年亮相

    谷歌云首席执行官在谷歌Cloud Next 26大会上确认,基于Gemini AI技术构建的新一代苹果Siri将于2026年发布。双方合作源于2026年1月签署的多年期协议,谷歌作为首选云服务商提供核心技术支持。该交易年价值约10亿美元,协议严格限制谷歌接触用户数据以保障隐私。技术层面,苹果正通过知识蒸馏将大型Gemini模型精简为可在iPhone等设备端运行的版本,旨在降低云端依赖并提升响应速度。

    推荐理由:苹果终于把 Siri 大脑换成了 Gemini,每年 10 亿美金的合作不是小打小闹,这代 Siri 可能真的会变聪明。但落地得等一年,做端侧部署的可以盯一下苹果的蒸馏方案。

  2. 公众号:小米 MiMo79

    Xiaomi MiMo-V2.5 系列大模型开启公测

    Xiaomi MiMo-V2.5 系列正式公测,包含 MiMo-V2.5、V2.5-Pro、TTS 与 ASR 等模型。其中 V2.5-Pro 在通用智能体、复杂软件工程等维度对标 Claude Opus 4.6、GPT-5.4,曾用 4.3 小时、672 次工具调用完成北大编译原理课程项目并获满分。

    推荐理由:在自主完成编译器构建和视频编辑器开发的长程任务演示中,展示了结构化的逐层搭建和自我修正能力,其效率对比数据有助于判断复杂Agent任务的成本边界。

4月18日周六
  1. xAI:News72

    Grok语音转文本与文本转语音API发布

    xAI发布Grok语音转文本(STT)与文本转语音(TTS)两款独立API,采用与Grok Voice、Tesla及Starlink相同技术栈。STT支持批量(0.10美元/小时)与实时流式(0.20美元/小时)转录,电话实体识别词错率仅5.0%,整体6.9%,优于竞品,支持25种以上语言及说话人分离。TTS定价4.20美元/百万字符,可通过[laugh]等标签精细控制情感语调。

    推荐理由:xAI 把 Grok 的语音能力拆成独立 API 放出,STT 在实体识别上碾压几个老牌竞品,定价也不算贵,做语音 agent 的可以直接加进方案里对比。

4月16日周四
  1. Google Blog:AI70

    Gemini 3.1 Flash TTS:下一代表现力AI语音技术

    Google正式发布Gemini 3.1 Flash TTS,作为下一代表现力AI语音技术,该模型现已全面上线Google旗下各产品线。此次升级标志着Google在语音合成领域的技术突破,旨在为用户提供更自然、富有情感表现力的AI语音交互体验,进一步强化其AI生态系统的语音能力。

    推荐理由:Google 把 TTS 的控制权交给了文本指令,音频标签这个设计让语音应用从'选择预设'变成'现场导演',对多模态应用是个实在的增强。

4月15日周三
  1. 字节 Seed:Research Papers66

    字节 Seed 发布 Seedance 2.0 音视频联合生成模型

    字节 Seed 发布原生多模态音视频生成模型 Seedance 2.0,2026 年 2 月初在中国正式上线,采用统一架构支持文本、图像、音频、视频四种输入模态。

    推荐理由:官方技术报告梳理了 Seedance 2.0 的统一架构、多模态输入上限与分辨率规格,读者可对照前代看能力变化。

4月3日周五
4月2日周四
  1. Microsoft AI:官方博客66

    Microsoft AI 发布 MAI-Transcribe-1、MAI-Voice-1 与 MAI-Image-2 三款模型,上线 Microsoft Foundry

    Microsoft AI 宣布发布 MAI-Transcribe-1、MAI-Voice-1 和 MAI-Image-2 三款模型,即日起所有开发者可在 Microsoft Foundry 和 MAI Playground 使用。

    推荐理由:官方同时给出三款模型的定价和 FLEURS 基准对比数据,开发者可以直接在 Foundry 上手评估适用性。

3月30日周一
  1. 美团 LongCat:HuggingFace 新模型

    LongCat-AudioDiT-1B:高保真波形潜空间扩散式文本转语音模型

    美团 LongCat 团队开源的扩散式 TTS 模型摒弃传统的 mel-spectrogram 中间表示,直接在波形潜空间操作,仅通过 Wav-VAE 与扩散骨干网络即可合成语音。该模型修复了训练-推理不匹配问题,并以自适应投影引导替代无分类器引导。最大版本 3.5B 在 Seed 基准实现 SOTA 零样本语音克隆,说话人相似度(SIM)在 Seed-ZH 达 0.818、Seed-Hard 达 0.797,超越此前最优的 Seed-TTS。研究还发现 Wav-VAE 的重建保真度与最终合成质量并非正相关。

    推荐理由:美团开源 1B 语音克隆模型,Seed 基准超 Seed-TTS,零样本推理可用

3月28日周六
3月27日周五
  1. Demis Hassabis

    Google 发布 Gemini 3.1 Flash Live,称其迄今最高质量音频模型,具备更低延迟、更高精度和更自然的对话体验,改进了函数调用能力。现已在 Gemini App 和 Google AI Studio 上线。

    引用Google DeepMind@GoogleDeepMind

    欢迎 Gemini 3.1 Flash Live。🗣️ 我们最新的音频模型带来了更自然的对话体验,并改进了函数调用——使其更加实用且信息更丰富。以下是新功能介绍 🧵

    推荐理由:Google发布Gemini 3.1 Flash Live,支持低延迟语音交互与Agent构建

3月26日周四
  1. Demis Hassabis

    Google DeepMind 推出 Lyria 3 Pro,可生成最长3分钟的高保真音乐,支持自由编排前奏、主歌、副歌与桥段。Google AI 订阅者现可在 Gemini App 体验,开发者也能通过 Google AI Studio API 接入创作。

    引用Google DeepMind@GoogleDeepMind

    你现在可以用 Lyria 3 Pro 创作更长的曲目了。🎶 规划前奏、主歌、副歌和桥段,构建长达 3 分钟的高保真作品。🎹

    推荐理由:Google Lyria 3 Pro 支持生成 3 分钟结构化音乐,已上线 Gemini App

  2. Cohere Labs:官方研究博客65

    Cohere 发布开源语音识别模型 Cohere Transcribe,登顶 HuggingFace Open ASR Leaderboard

    Cohere 发布开源 ASR 模型 Cohere Transcribe,基于 Conformer 编码器-解码器架构,参数量 2B,支持英语、法语、中文、日语、阿拉伯语等 14 种语言,采用 Apache 2.0 许可证。

    推荐理由:原文给出了模型规格、WER 数据和推理吞吐表现,读者可以据此评估它在语音识别工作流中的实际可用性。

3月24日周二
  1. Hugging Face 社区博客78

    全新语音智能体评估框架EVA发布

    ServiceNow AI团队在Hugging Face上发布了语音智能体评估框架EVA。该框架通过标准化测试集与多模态指标,系统评估语音助手在对话理解、任务完成及交互自然度等方面的性能,旨在量化衡量智能体在复杂真实场景下的表现,助力研究人员客观比较不同模型,推动技术优化。

    推荐理由:提供语音代理评估标准,帮助开发者优化模型性能和测试效率。

3月23日周一
  1. Mistral AI:News64

    Mistral AI 发布 Voxtral TTS 语音生成模型并开放权重

    Mistral AI 发布 4B 参数的文本转语音模型 Voxtral TTS,支持 9 种语言,3 秒参考音频即可适配新声音。人类评测显示其自然度优于 ElevenLabs Flash v2.5 并与 ElevenLabs v3 质量相当,10 秒样本加 500 字符输入的模型延迟为 70ms。

    推荐理由:官方发布首个 TTS 模型,给出了人类评测对比、延迟数据和开源权重入口,可了解其与 ElevenLabs 的实际差距。

2月24日周二