文本嵌入扩展与蒸馏提升扩散语言模型

2026年10月1日，HuggingFace Daily Papers收录一篇社区热门论文，研究通过扩展与蒸馏文本嵌入来提升扩散语言模型的可扩散性。该研究对不同嵌入模型进行搜索，发现将嵌入模型在同一家族内扩展至更强版本（从T5到T5Gemma-1再到T5Gemma-2）可显著提升生成性能。但研究同时指出，原始T5Gemma-2嵌入区分度过高，导致连续扩散过程容易落入无效嵌入。目前该工作处于论文收录与社区讨论阶段，尚未见后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。