英伟达发布 Audex 统一音频-文本模型,避免多模态扩展后文本能力下滑
英伟达今年6月推出 Audex(Nemotron-Labs-Audex-30B-A3B)统一音频-文本大语言模型,总参数30B、激活参数3B。骨干为52层混合 Mamba-Transformer 结构的 Nemotron-Cascade-2-30B-A3B,含128个可路由专家、每次激活6个。音频输入经 AF-Whisper 编码后映射到文本嵌入空间,输出词表从131072个 token 扩展至205312个。语音输出采用 X-Codec2(每秒50 token,单层有限标量量化),非语音音频采用 X-Codec(每秒200 token,4层展平残差向量量化)。文本评测方面,Audex 在 MMLU-Redux 得分86.4(骨干86.3),IMO AnswerBench 得分81.1(骨干79.3),MMLU-Pro 与 GPQA-Diamond 小幅下降。

