HuggingFace Daily Papers·· 1 天前AI 评分29
面向大语言模型的参数内记忆增强综述
Towards In-Parameter Memory Augmentation for Large Language Models
AI 导读
一篇综述系统梳理了在部署阶段为 LLM 增强参数内记忆的方法:将承载记忆的参数对象在推理时接入前向传播,以补充 ICL 消耗上下文窗口、重复编码成本随上下文长度增长的不足。文章按参数位置(Embedding、Attention、FFN 层或 Hybrid)与参数获取时间(部署中在线获取、部署前离线获取)两个正交维度组织现有工作,并讨论了干扰、安全、与 ICL 协同设计及递归自我改进等开放方向。
来源:HuggingFace Daily Papers · arxiv.org