马博这篇把 KV Cache 讲得非常清楚,一下就把 Attention、Prefill、KV Cache 和 Prefix Caching 串起来了。
理解这一层,再去看多头潜在注意力、跨层共享这些东西,会顺很多。
https://x.com/i/article/2098863329817051136
马博这篇把 KV Cache 讲得非常清楚,一下就把 Attention、Prefill、KV Cache 和 Prefix Caching 串起来了。
理解这一层,再去看多头潜在注意力、跨层共享这些东西,会顺很多。
来源:凡人小北· x.com