返回
AI 评分 46/100

追踪瓶颈:在 AMD Instinct MI355X 上优化 MiniMax M3

vLLM 官方博客(RSS)·2026-09-10 08:00·2天前·AMD and Embedded LLM Teams
AI 导读

MiniMax M3 在 AMD Instinct MI355X 上的 vLLM 服务性能经逐层瓶颈优化大幅提升。MXFP8 标准服务在并发 32 下从 109.1 升至 342.4 output tokens/s/GPU(3.14×),MXFP4 在 TP2/EP1 下达到 943.5,为初始结果的 4.45×。

vLLM 官方博客(RSS)
46AI 编辑部评分,满分 100

追踪瓶颈:在 AMD Instinct MI355X 上优化 MiniMax M3

2026-09-10 08:00· 2天前· AMD and Embedded LLM Teams
AI 导读

MiniMax M3 在 AMD Instinct MI355X 上的 vLLM 服务性能经逐层瓶颈优化大幅提升。MXFP8 标准服务在并发 32 下从 109.1 升至 342.4 output tokens/s/GPU(3.14×),MXFP4 在 TP2/EP1 下达到 943.5,为初始结果的 4.45×。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:vLLM 官方博客(RSS)· vllm.ai