Dongxi 东锡 NLP· @dongxi_nlp · X·· 4 小时前AI 评分36
AI 导读
马东锡 NLP 宣布推出后训练系列文章,第一篇已发布,计划在接下来几周配合文章和实验代码深入浅出地讲解后训练。该系列将后训练拆为 instruction tuning、preference alignment 和 RLVR 三种技术,并指出预训练只教模型预测下一个词,后训练才是把 base model 变成有用助手的全部训练。
正文 · 原文
预训练只教模型一件事:看到一段文字,猜下一个词。
预训练之后,为了把 base model 变成有用的助手所做的一切训练,统称 post-training(后训练)。
后训练通常分成三种技术:instruction tuning, preference alignment, 以及 RLVR。
这是后训练系列文章的第一篇,在接下来的几周,争取用深入浅出的方式,把后训练呈现出来,会配合文章和实验代码。
https://x.com/i/article/2112617637763047425在 X 查看被引用的帖子
来源:Dongxi 东锡 NLP · x.com