跳到正文
HuggingFace Daily Papers·· 1 天前AI 评分40

NeMo-DCR:面向万亿参数智能体 RL 的比特精确增量压缩重配

NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale

AI 导读

NeMo-DCR 是一种比特精确的增量压缩重配(refit)方案,只传输变化的权重,接收端得到的参数与缓冲区比特与全量重配完全一致。在 3% 和 5% 变化率下,30B-1T 模型的重配速度比仅传输全量 checkpoint 的基线快 12-40 倍;1T 模型经中继树在 3% 变化率下重配仅需 150 秒,而全量传输需 87.5 分钟。

来源:HuggingFace Daily Papers · arxiv.org