跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 1 天前AI 评分57

Galahad 让 LLM 重复读取文档成为一次性成本,在 llama.cpp 上将召回测试提升到 100/100

Working Around the Compute Ceiling: Byte-Exact Memory in Galahad Makes LLM Reading a One-Time Cost LLM Reading a One-Time Cost

AI 导读

论文提出面向 vLLM、SGLang 和 llama.cpp 的内存层 Galahad,把模型对同一段文本的读取从重复计算变为一次性成本。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org