TokenGate用可学习剪枝提速长上下文Prefill

斯坦福与伯克利研究者提出可插拔小模块 TokenGate，插在现有 LLM 浅层，学习对长上下文“跳读”，只把 top-K token 传给上层。论文报告称，在无精度损失下首 token 时间快 1.4–11.3 倍、峰值显存降 1.5–3.4 倍；相对最强免训练剪枝最高约 6.4 倍更快、2 倍更省显存。 该方法训练成本接近 LoRA，无需从零预训练。上述提速与省显存数据均为论文报告结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。