按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试
AI 导读
NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B,以 52.33 tokens/s 完成 MLPerf Inference v6.1 Edge Agentic 全部 1,007 轮性能负载,耗时 24 分 36 秒,比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。
NVIDIA Technical Blog:Agentic AI / Generative AI
39
AI 编辑部评分,满分 100NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic 基准测试
NVIDIA TensorRT Edge-LLM 在单台 Jetson AGX Thor 开发者套件上运行 Qwen3.6-27B,以 52.33 tokens/s 完成 MLPerf Inference v6.1 Edge Agentic 全部 1,007 轮性能负载,耗时 24 分 36 秒,比 llama.cpp 参考提交的 2 小时 37 分钟快 6.4 倍。
来源:NVIDIA Technical Blog:Agentic AI / Generative AI· developer.nvidia.com