按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐
AI 导读
NVIDIA 用机密计算(CC)在 Blackwell GPU 上跑 TensorRT LLM 生产级推理,CC 开启后仍保留 CC 关闭基线 96.1%–98.2% 的输出 token 吞吐,平均 TPOT 开销仅 1.2%–4.3%。
NVIDIA Technical Blog:Agentic AI / Generative AI
42
AI 编辑部评分,满分 100NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐
NVIDIA 用机密计算(CC)在 Blackwell GPU 上跑 TensorRT LLM 生产级推理,CC 开启后仍保留 CC 关闭基线 96.1%–98.2% 的输出 token 吞吐,平均 TPOT 开销仅 1.2%–4.3%。
来源:NVIDIA Technical Blog:Agentic AI / Generative AI· developer.nvidia.com