HuggingFace Daily Papers·2026-09-29 08:00· 7 天前AI 评分37

Triadic Linear Attention：用三维循环状态做长上下文序列建模

Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling

AI 导读

研究者提出 Triadic Linear Attention，将线性注意力的矩阵隐状态扩展为三阶（3D）张量状态，通过 key、第二个 key 与 value 的三元外积写入，并用两个 query 分别与两条 key 轴收缩读出。