Zyphra发布Inference Wave 2,MI355X上加速MoE推理
热点事件持续更新
Zyphra发布Inference Wave 2,MI355X上加速MoE推理
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
Zyphra 发布 Inference Wave 2 技术报告,称在 AMD MI355X 上通过投机解码与 MXFP4 量化加速 MoE 和长上下文推理服务。据其报告,GLM-5.3 在 vLLM 基线中单请求解码提速 2.7 倍、32 并发提速 2.0 倍。 提速手段按模型区分:GLM-5.3 与 DeepSeek-V4 采用 MTP,Kimi-K3 采用 DSpark。上述倍数均为 Zyphra 自述结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 08:00
Zyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文服务报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- Zyphra ResearchZyphra Inference Wave 2:在 MI355X 上加速 MoE 与长上下文服务
Zyphra 发布 Inference Wave 2,在 MI355X 上通过投机解码与 MXFP4 量化加速 MoE 和长上下文服务。GLM-5.3 在 vLLM 基线中单请求解码提速 2.7x、32 并发提速 2.0x,分别采用 MTP(GLM-5.3、DeepSeek-V4)与 DSpark(Kimi-K3)。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。