返回
原文
返回
AI 评分 36/100在 X 查看原推
导出 Markdown

KV Cache 分层：PMem 与 400Gb RDMA 内存池之争

karminski-牙医 · @karminski3 · X·2026-09-17 08:02·1小时前
AI 导读

针对 Intel Optane PMem 作为 KV cache 分层介质的讨论，karminski 实测指出其写速度甚至打不过 SSD，CPU1 上 2 条 128G 还受 NUMA 影响。他认为现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度（传输时间不超过 Prefill 耗时的 10%），因此 400Gb RDMA 内存池更合适。

karminski-牙医@karminski3
36AI 编辑部评分，满分 100

KV Cache 分层：PMem 与 400Gb RDMA 内存池之争

2026-09-17 08:02· 1小时前
AI 导读

针对 Intel Optane PMem 作为 KV cache 分层介质的讨论，karminski 实测指出其写速度甚至打不过 SSD，CPU1 上 2 条 128G 还受 NUMA 影响。他认为现代 PD 分离推理至少需要 40GB/s 的 KVCache 池速度（传输时间不超过 Prefill 耗时的 10%），因此 400Gb RDMA 内存池更合适。

这个我比较有经验, 没那么复杂, 单纯是因为写速度拉了, 甚至打不过SSD(图是我刚测的, CPU1上的2条128G, 这玩意还有NUMA). 现代PD分离推理至少要40GB/s的KVCache池速度(传输时间≤≤Prefill 耗时的 10%计算). 所以400Gb RDMA内存池更爽了.

Bieriszc现在回头看 Intel Optane PMem，确实有点生不逢时。 当我们开始讨论把 inference 的 KV cache 从内存 evict 到 SSD 时，它原本所在的位置，反而显得很有价值：不是取代 DRAM，也不是做一块更快的 SSD，而是在两者之间补上一层。 HBM → DRAM → PMem → SSD...

来源：karminski-牙医· x.com

导出 Markdown