Thinking Machines· @thinkymachines · X·· 1 小时前AI 评分47
AI 导读
用更少的比特训练更快，但量化误差会干扰学习。 今天在 Connectionism 上，我们详细介绍了如何从预训练的第一步到最终的 RL rollout，以原生 4-bit 前向传播训练 Inkling 2 Small。 thinkingmachines.ai/blog/end-…
正文 · 原文
Training with fewer bits is faster, but quantization error can interfere with learning.
Today on Connectionism, we detail how we trained Inkling 2 Small with a native 4-bit forward pass from the first step of pretraining through the final RL rollout.
thinkingmachines.ai/blog/end-…
来源：Thinking Machines · x.com