返回
AI 评分 42/100

NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐

NVIDIA Technical Blog:Agentic AI / Generative AI·2026-09-23 01:42·2小时前
AI 导读

NVIDIA 用机密计算(CC)在 Blackwell GPU 上跑 TensorRT LLM 生产级推理,CC 开启后仍保留 CC 关闭基线 96.1%–98.2% 的输出 token 吞吐,平均 TPOT 开销仅 1.2%–4.3%。

NVIDIA Technical Blog:Agentic AI / Generative AI
42AI 编辑部评分,满分 100

NVIDIA 机密计算如何让 TensorRT LLM 生产级 AI 推理保留 96% 以上吞吐

2026-09-23 01:42· 2小时前
AI 导读

NVIDIA 用机密计算(CC)在 Blackwell GPU 上跑 TensorRT LLM 生产级推理,CC 开启后仍保留 CC 关闭基线 96.1%–98.2% 的输出 token 吞吐,平均 TPOT 开销仅 1.2%–4.3%。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:NVIDIA Technical Blog:Agentic AI / Generative AI· developer.nvidia.com