跳到正文
原文
HuggingFace Daily Papers(社区热门论文)·· 2 天前AI 评分36

REST:面向潜在递归 LLM 系统的表征监督思维训练方法

Principled Thoughts for Latent Recursive LLM Systems

AI 导读

针对潜在递归 LLM 系统仅用交叉熵监督最终答案、不约束思维过程的问题,研究者提出 REST(REpresentation-Supervised Thoughts)训练目标,将因果性、最小性、可分离性和稳定性四项思维表征属性转化为可微损失并叠加到 CE 上,无需改动架构或增加推理参数。

来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org