HuggingFace Daily Papers·2026-10-05 08:00· 1 天前AI 评分43

循环模型如何做对（第二部分）：在不动点处重新思考

Towards Looped Models Done Right, Part II: Rethinking at Fixed Points

AI 导读

循环语言模型每次循环都会增加训练、解码、prefill 和 RL 成本，而循环状态越接近不动点，路径影响越小，因此可实现截断反向传播、终端 KV 共享（精度几乎无损）、prefill 快 1.79x 的蒸馏学生模型，以及比回放轨迹反向传播快 2x 的 RL 更新。