HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分44
PReCache:面向 Multi-LoRA 智能体的免训练 KV Cache 共享框架
PReCache: Efficient KV Cache Sharing for Multi-LoRA Agents via Low-Rank Precomputation and Neutral Reconstruction
AI 导读
PReCache 是一个免训练的 KV cache 共享框架,通过 PreLRShared 和 ReBaseShared 两种设计共享基于预训练权重计算的基础 cache,并预计算紧凑的智能体专属低秩(LR)cache。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org