# KV Cache 分层：PMem 与 400Gb RDMA 内存池之争

- 来源：karminski-牙医 (@karminski3)
- 发布时间：2026-09-17 08:02
- AIHOT 分数：36
- AIHOT 链接：https://aihot.news/items/cmu4sidr406ktrokcqbwptthh
- 原文链接：https://x.com/karminski3/status/2100374881624060051

## AI 摘要

针对 Intel Optane PMem 作为 KV cache 分层介质的讨论，karminski 实测指出其写速度甚至打不过 SSD，CPU1 上 2 条 128G 还受 NUMA 影响。他认为现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度（传输时间不超过 Prefill 耗时的 10%），因此 400Gb RDMA 内存池更合适。

## 正文

这个我比较有经验, 没那么复杂, 单纯是因为写速度拉了, 甚至打不过SSD(图是我刚测的, CPU1上的2条128G, 这玩意还有NUMA).
现代PD分离推理至少要40GB/s的KVCache池速度(传输时间≤≤Prefill 耗时的 10%计算). 所以400Gb RDMA内存池更爽了.

### 引用推文

> Bieriszc：现在回头看 Intel Optane PMem，确实有点生不逢时。 当我们开始讨论把 inference 的 KV cache 从内存 evict 到 SSD 时，它原本所在的位置，反而显得很有价值：不是取代 DRAM，也不是做一块更快的 SSD，而是在两者之间补上一层。 HBM → DRAM → PMem → SSD...