HuggingFace Daily Papers（社区热门论文）·2026-09-26 08:00· 3 天前AI 评分48

CoWindow Attention（CoWA）：让完整因果覆盖成为注意力头集合的集体属性

CoWindow Attention: Full Causal Coverage Is a Collective Property

AI 导读

研究者提出结构化注意力架构 CoWA，将因果历史访问分散到各 KV head：所有 head 共享近对角与 prefix-sink 窗口，互补的长程窗口划分其余历史，其并集实现完整因果覆盖，且无需学习型 router 或 indexer。