按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)NVIDIA 如何用 DSX 把兆瓦电力转化为 token 产出
AI 导读
NVIDIA 在 AI Infra Summit 上公布 DSX MaxLPS 的首个部署验证结果:Lambda 在五机架 19 节点 HGX B200 集群上,用原本 16 节点的电力预算跑 19 节点,集群 token 吞吐提升 24%,从约 400 万 tokens/秒升至 500 万,每瓦性能提升 23%。
NVIDIA Blog(RSS)
44
AI 编辑部评分,满分 100NVIDIA 如何用 DSX 把兆瓦电力转化为 token 产出
NVIDIA 在 AI Infra Summit 上公布 DSX MaxLPS 的首个部署验证结果:Lambda 在五机架 19 节点 HGX B200 集群上,用原本 16 节点的电力预算跑 19 节点,集群 token 吞吐提升 24%,从约 400 万 tokens/秒升至 500 万,每瓦性能提升 23%。
来源:NVIDIA Blog(RSS)· blogs.nvidia.com