返回
AI 评分 39/100

NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试

NVIDIA Technical Blog:Agentic AI / Generative AI·2026-09-17 04:39·1小时前
AI 导读

NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B,以 52.33 tokens/s 完成 MLPerf Inference v6.1 Edge Agentic 全部 1,007 轮性能负载,耗时 24 分 36 秒,比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。

NVIDIA Technical Blog:Agentic AI / Generative AI
39AI 编辑部评分,满分 100

NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试

2026-09-17 04:39· 1小时前
AI 导读

NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B,以 52.33 tokens/s 完成 MLPerf Inference v6.1 Edge Agentic 全部 1,007 轮性能负载,耗时 24 分 36 秒,比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。

按该来源的展示范围,站内仅提供摘要。

前往原站阅读(在新标签页打开)

来源:NVIDIA Technical Blog:Agentic AI / Generative AI· developer.nvidia.com