NanoGPT训练纪录刷新至39.9秒
先了解这件事
2026年9月29日，据X平台Thomas Wolf转述@classiclarryd的通报，Deven Pzak将NanoGPT训练纪录从67.6秒压缩至39.9秒，相关PR为KellerJordan/modded-nanogpt#360。报道称其核心思路是在单个flop层面按价值取舍，而非只优化matmul，具体包括采样softmax（约8秒）、ngram嵌入的稀疏更新与优化器状态、分片稀疏通信、手写64维head的flash attention，以及最后300步的相关处理。早先报道称该纪录为67.6秒，后续报道称已被刷新至39.9秒。目前该进展由Hugging Face联合创始人兼CSO Thomas Wolf在X上转述，尚无更多细节披露。
AI 根据报道生成 · 1 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- X：Thomas Wolf（Hugging Face 联创/CSO） (@Thom_Wolf)Deven Pzak 以 39.9 秒刷新 NanoGPT 训练纪录
@classiclarryd 通报 Deven Pzak 将 NanoGPT 训练纪录从 67.6 秒压缩至 39.9 秒，PR 为 KellerJordan/modded-nanogpt#360。核心思路是在单个 flop 层面按价值取舍而非只优化 matmul，包括采样 softmax（约 8 秒）、ngram 嵌入的稀疏更新与优化器状态、分片稀疏通信、手写 64 维 head 的 flash attention、最后 300 步 EMA 与新优化器 Anvil2（约 1 秒）等。稀疏嵌入参数扩到 65B，贡献该 PR 约 25% 的收益；Thomas Wolf 转发并称 impressive，附上与 Deven 访谈整理的技术复盘 https://hyperstition.cc/training-nanogpt-in-39-9-seconds。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。