分块 KV-Cache 压缩存在周期性弱点：相位敏感性问题研究

分块 KV-Cache 压缩会引入"相位"这一新位置坐标，导致同一信息在不同相位下检索难度不同，大型开放权重模型的长上下文检索准确率跨相位差异最高达 40 个百分点。研究者从零预训练了多种 KV 压缩设计的 Transformer 家族复现该现象，并通过因果干预发现不同注意力组件在不同源相位下贡献不对称，即相位特化。评估此类压缩模型需跨压缩相位测量，高平均准确率可能掩盖系统性位置失效。