跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 3 天前AI 评分46

MALA:让注意力自行分配其计算量的融合注意力原语

MassAlloc Attention: Let Attention Allocate Its Own Compute

AI 导读

研究者提出融合注意力原语 MALA,按归一化贡献分配 post-score 计算,在 8K 匹配工作量下平均遗漏质量仅 0.0188%,接近逐实例参考质量 oracle 的 0.0182%。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org