跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分44

PReCache:面向 Multi-LoRA 智能体的免训练 KV Cache 共享框架

PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction

AI 导读

PReCache 是一个免训练的 KV cache 共享框架,通过 PreLRShared 和 ReBaseShared 两种设计共享基于预训练权重计算的基础 cache,并预计算紧凑的智能体专属低秩(LR)cache。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org