跳到正文
Dongxi 东锡 NLP· @dongxi_nlp · X·· 2026-09-13AI 评分32
AI 导读

马东锡 NLP 用文档+LLM 办公场景解释三个概念:Prefill 处理 input,KV cache 保存计算得到的 K/V 供后续生成使用,Prefix caching 在输入变化时只能复用首次 token 变化之前的共同 prefix。以 A、B、C 三轮文档问答为例,C 的输入方案已改变,因此无法完整复用前序缓存。

正文 · 原文

三个重要的概念, Prefill, KV cache, Prefix caching

例如,在文档+LLM 的办公场景:

A: 文档 +“帮我看看,有哪些风险?”
B: 文档+“预算减半,帮我调整一下。”
C:修改后文档+“再看看,现在的预算够不够?”

Prefill:处理 input。
KV cache:保存状态。 留下计算得到的 K/V,供后续生成使用。
Prefix caching:C 的输入方案已改变,只能复用首次 token 变化之前的共同 prefix。

引用Dongxi 东锡 NLP@dongxi_nlp
https://x.com/i/article/2098863329817051136
在 X 查看被引用的帖子

来源:Dongxi 东锡 NLP · x.com