HuggingFace Daily Papers·· 3 天前AI 评分42
HeteroFold:面向异构多智能体 LLM 的免预填充跨模型族 KV Cache 传输
Prefill-Free Cross-Family KV Cache Transfer for Heterogeneous Multi-Agent LLMs
AI 导读
HeteroFold 是一种免预填充的跨模型族 KV cache 传输方法,可在发送方与接收方均冻结的前提下,对齐模型结构、将发送方 cache 映射到接收方空间并校准以保持接收方行为。
来源:HuggingFace Daily Papers · arxiv.org