HuggingFace Daily Papers（社区热门论文）·2026-09-26 08:00· 3 天前AI 评分44

LT-OPD：用在线策略自蒸馏实现极端视觉 token 压缩

Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction

AI 导读

针对多模态大模型在极低视觉 token 预算下性能骤降的问题，研究者提出训练框架 LT-OPD，让仅保留少量视觉 token 的学生模型在自己生成的轨迹上接受冻结全 token 教师模型的分布监督，并引入逐步降低 token 预算的课程。