引用NVIDIA AI@NVIDIAAI
恭喜 StepFun 发布 Step 5 Preview 🙌 这是他们规模最大的开放权重发布。
这个 600B MoE 模型专为处理长达 24 小时的 agent 任务而构建。
该模型在 NVIDIA GB300 上使用 NVFP4,运行速度接近 8K tokens/sec/GPU。
NVP4 checkpoint:https://huggingface.co/stepfun-ai/Step-5-Preview-NVFP4
使用 @SGL_project 部署 - https://docs.sglang.io/cookbook/autoregressive/StepFun/Step-5-Preview 或 @vLLM_project - https://recipes.vllm.ai/stepfun-ai/Step-5-Preview
使用 NeMo Automodel 进行后训练:https://github.com/NVIDIA-NeMo/Automodel/blob/main/docs/model-coverage/llm/stepfun-ai/step-5-preview.mdx
使用 NVIDIA NIM 通过单条命令运行它:https://catalog.ngc.nvidia.com/orgs/nim/nvidia/containers/vllm-model-free-nim-experimental/-