HuggingFace Daily Papers（社区热门论文）·2026-09-28 08:00· 2 天前AI 评分33

FactorEngram：面向语言模型的基级门控分解式 N-gram 记忆

FactorEngram: Factorized N-gram Memory with Basis-Level Gating for Language Models

AI 导读

FactorEngram 提出一种分解式 n-gram 记忆机制，用共享基向量字典上的稀疏系数替代传统单体嵌入，并让上下文对每个记忆分量单独门控。在 340M 和 1B 参数 Transformer 骨干上，该方法提升了语言建模与下游任务表现；消融实验显示，将记忆分支插入中间层的注意力子层之前是有效配置。

来源：HuggingFace Daily Papers（社区热门论文） · arxiv.org

#论文/研究 #数据/训练