跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分51

Draft-KV:学习语言模型间有用的潜态通信

Draft-KV: Learning Useful Latent Communication Between Language Models

AI 导读

论文提出 Draft-KV,让共享模型在起草答案时生成 key-value 状态,经线性投影写入侧记忆并由门控注意力分支读取,两模型均冻结,接口仅训练 1.05M 参数。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org