HuggingFace Daily Papers·2026-10-02 08:00· 3 天前AI 评分37

Pivot-SD：面向掩码扩散语言模型的高效自蒸馏框架

Pivot-SD: Efficient Self-Distillation for Masked Diffusion Language Models

AI 导读

Pivot-SD 是一个面向掩码扩散语言模型（dLMs）的离线自蒸馏框架，仅监督去噪过程中对最终回答影响最大的"关键承诺"（pivots），通过信息增益指标衡量其对剩余掩码位置不确定性的降低程度来筛选。