HuggingFace Daily Papers(社区热门论文)·· 2 天前AI 评分30
Nereus:面向 LLM 后训练的自适应并行运行时
Nereus: Adaptive Parallelism for LLM Post-Training
AI 导读
Nereus 是一个面向 LLM 强化学习后训练的成本感知运行时,可动态调整并行策略以适配资源、序列长度和内存压力的变化。在真实数据 trace 中,在线 TP/PP 自适应将平均 step 延迟降低 27.7%;在 1,024 GPU 的 1,000 步运行中,六次切换仅占总运行时间的 0.079%。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org