HuggingFace Daily Papers(社区热门论文)·· 2 天前AI 评分36
REST:面向潜在递归 LLM 系统的表征监督思维训练方法
Principled Thoughts for Latent Recursive LLM Systems
AI 导读
针对潜在递归 LLM 系统仅用交叉熵监督最终答案、不约束思维过程的问题,研究者提出 REST(REpresentation-Supervised Thoughts)训练目标,将因果性、最小性、可分离性和稳定性四项思维表征属性转化为可微损失并叠加到 CE 上,无需改动架构或增加推理参数。
来源:HuggingFace Daily Papers(社区热门论文) · arxiv.org