HuggingFace Daily Papers·2026-09-28 08:00· 4 天前AI 评分42

SlideDP：跨多 GPU 扩展宿主内存驻留的 LLM 微调

SlideDP: Scaling Host-Resident LLM Fine-Tuning Across Multiple GPUs

AI 导读

SlideDP 是面向共享宿主多 GPU 系统的同步数据并行运行时，通过维护单一权威宿主状态、解耦通信路径与状态布局，并对参数传输、梯度聚合和 CPU 更新做流水线化，实现超出 GPU 显存的 LLM 全参数微调。