HuggingFace Daily Papers（社区热门论文）·2026-09-27 08:00· 3 天前AI 评分42

WhiteMatter：通过 KV Source Mixing 实现全连接跨层连接

WhiteMatter: All-to-All Cross-Layer Connections via KV Source Mixing

AI 导读

WhiteMatter 让 Transformer 每一层都能调用任意深度的历史 token 表示，通过学习型 mixer 为当前上下文挑选最有用的深度并合并进共享 KV cache 通道。