Kevin Lu 在 @vllm_project 发了一篇很棒的博客，讲推理引擎的质量控制。遗憾的是，@AnushElangovan 没有为 vLLM 提供足够稳定的 AMD QA 集群，导致 AMD 上的软件质量比 CUDA 差了一个数量级。 每个月都会发生多次 AMD CI vLLM 全集群宕机。
SemiAnalysis@SemiAnalysis_Kevin Lu 在 @vllm_project 发了一篇很棒的博客，讲推理引擎的质量控制。遗憾的是，@AnushElangovan 没有为 vLLM 提供足够稳定的 AMD QA 集群，导致 AMD 上的软件质量比 CUDA 差了一个数量级。 每个月都会发生多次 AMD CI vLLM 全集群宕机。
Great blog from Kevin Lu at @vllm_project about quality control at the inference engine. Unfortunately, @AnushElangovan has not provided enough stable AMD QA clusters to vLLM, which leads to an order of magnitude worse software quality on AMD versus CUDA.
Multiple AMD CI vLLM fleet-wide outages happen every month.
来源：SemiAnalysis· x.com