Apple发布三模态掩码扩散模型研究

Apple 团队发布首个从零预训练的三模态掩码扩散模型（MDM）研究，在文本、图文和音频文本数据上训练，并公开了设计空间分析。 论文系统考察了多模态缩放规律、模态混合比例、噪声调度和 batch size 的影响，提出一种基于 SDE 的重参数化方法，免去调优最优 batch size，并在 3B 模型规模（6.4T tokens）上验证了文本生成、T2I 和 T2S 任务的表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。