HuggingFace Daily Papers·2026-10-05 08:00· 2 天前AI 评分42

HLA：通过分块动态混合实现表达性混合线性注意力

HLA: Expressive Hybrid Linear Attention via Chunk-Wise Dynamic Mixing

AI 导读

研究者提出 Hybrid Linear Attention（HLA），一种面向 Gated DeltaNet（GDN）的查询相关分块级注意力机制，通过内容相关的路由门控动态混合历史状态。