跳到正文
StepFun· @StepFun_ai · X·· 1 小时前精选AI 评分66
AI 导读

StepFun 表示 Step 5 Preview 在 NVIDIA GB300 上推理表现出色,并期待看到开发者用它构建的应用。其转发的 NVIDIA 内容称该模型是 StepFun 最大的开源权重发布,600B MoE 架构,可处理最长 24 小时的 Agent 任务,在 GB300 上用 NVFP4 达到近 8K tokens/sec/GPU,提供 NVFP4 checkpoint(https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4),并支持 SGLang、vLLM、NeMo Automodel 后训练和 NVIDIA NIM 一键部署。

推荐理由

原文补充了 Step 5 Preview 在 NVIDIA GB300 上的推理表现和 NVFP4 权重入口,可帮助开发者评估部署选择。

正文 · AI 翻译

很高兴看到 Step 5 Preview 在 NVIDIA GB300 上展现出强劲的推理性能。

期待看到开发者用它构建出什么。

引用NVIDIA AI@NVIDIAAI
恭喜 StepFun 发布 Step 5 Preview 🙌 这是他们规模最大的开放权重发布。 这个 600B MoE 模型专为处理长达 24 小时的 agent 任务而构建。 该模型在 NVIDIA GB300 上使用 NVFP4,运行速度接近 8K tokens/sec/GPU。 NVP4 checkpoint:https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4 使用 @SGL_project 部署 - https://docs.sglang.io/cookbook/autoregressive/StepFun/Step-5-Preview 或 @vLLM_project - https://recipes.vllm.ai/stepfun-ai/Step-5-Preview 使用 NeMo Automodel 进行后训练:https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/model-coverage/llm/stepfun-ai/step-5-preview.mdx 使用 NVIDIA NIM 通过单条命令运行它:https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/vllm-model-free-nim-experimental/-
原文

Congrats to StepFun on Step 5 Preview 🙌 Their largest open weights release. The 600B MoE model is built to handle agent tasks lasting up to 24 hours. The model runs at nearly 8K tokens/sec/GPU on NVIDIA GB300 using NVFP4. NVP4 checkpoint: https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4 Deploy with @SGL_project - https://docs.sglang.io/cookbook/autoregressive/StepFun/Step-5-Preview  or @vLLM_project - https://recipes.vllm.ai/stepfun-ai/Step-5-Preview Post-train with NeMo Automodel: https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/model-coverage/llm/stepfun-ai/step-5-preview.mdx Run it with NVIDIA NIM using a single command: https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/vllm-model-free-nim-experimental/-

在 X 查看被引用的帖子

来源:StepFun · x.com