邵猛讲解LLM推理Prefill与Decode瓶颈差异

邵猛在 X 上整理 llama.app 的推理概念文档，提出一个理解 LLM 推理性能的核心框架：同一个模型在 Prefill 和 Decode 两个阶段瓶颈完全不同。Prefill 阶段并行读入 prompt，瓶颈在算力；Decode 阶段逐 token 自回归生成，瓶颈在内存带宽。 据其说法，理解这一差异是所有推理优化（量化、批处理、投机解码）的基础，KV 缓存则决定显存代价。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。