Dongxi 东锡 NLP· @dongxi_nlp · X·· 3 小时前AI 评分31
AI 导读
马东锡在“后训练系列第二篇”中讲解 Instruction Tuning：SFT 沿用预训练目标，即在每个位置预测下一个 token，用 cross-entropy loss 衡量预测与正确 token 的差距，训练以提高正确 token 概率。
正文 · 原文
Instruction Tuning 或者 SFT 沿用预训练的训练目标：
在每个位置预测下一个 token，用 cross-entropy loss 衡量预测和正确 token 之间的差距，通过训练提高正确 token 的概率。
其中，用模型的 chat template 把每对数据转换成对话格式的 token 序列，然后用 loss mask（ 标出需要计算损失的 token，是 recipe 中重要的部分。
来看后训练系列第二篇，Instruction Tuning
https://x.com/i/article/2113363792482480128在 X 查看被引用的帖子
来源：Dongxi 东锡 NLP · x.com