按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)vLLM 集成 PyNvVideoCodec 支持 NVIDIA GPU 硬件视频解码
AI 导读
vLLM 新增对 NVIDIA GPU 硬件视频解码(NVDEC)的支持,通过集成 PyNvVideoCodec 把视频解码负载从 CPU 转移到 GPU。在 8xH100 上,GPU 解码吞吐量比 CPU 解码方案提升一倍以上。该功能已包含在标准 CUDA 版 vLLM 中,自定义安装需依赖 PyNvVideoCodec==2.0.4。
vLLM 官方博客(RSS)
44
AI 编辑部评分,满分 100vLLM 集成 PyNvVideoCodec 支持 NVIDIA GPU 硬件视频解码
vLLM 新增对 NVIDIA GPU 硬件视频解码(NVDEC)的支持,通过集成 PyNvVideoCodec 把视频解码负载从 CPU 转移到 GPU。在 8xH100 上,GPU 解码吞吐量比 CPU 解码方案提升一倍以上。该功能已包含在标准 CUDA 版 vLLM 中,自定义安装需依赖 PyNvVideoCodec==2.0.4。
来源:vLLM 官方博客(RSS)· vllm.ai