PyTorch 将 Zephon 集成进 TorchTitan

PyTorch 为 TorchTitan 引入 Zephon，一种弹性确定性数据加载方案，可在训练任务内即时完成 tokenize、pack、shuffle 和 mix，无需预处理语料副本。 据 PyTorch 介绍，该方案把原本依赖离线预处理的数据准备步骤移入训练过程，并保持确定性，从而省去为语料制作副本的环节。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。