HuggingFace Daily Papers·2026-10-01 08:00· 1 天前AI 评分36

扩展与蒸馏文本嵌入以提升扩散语言模型可扩散性

Scaling and Distilling Text Embeddings for Better Diffusibility

AI 导读

研究发现，将嵌入模型从 T5 扩展到 T5Gemma-1、T5Gemma-2 可显著提升扩散语言模型生成性能，但原始 T5Gemma-2 嵌入区分度过高，导致连续扩散易落入无效嵌入。