跳到正文
HuggingFace Daily Papers·· 2 天前AI 评分40

自回归 Transformer 如何从局部观测外推混沌系统的全局动力学

Learning Chaos Without Seeing Chaos: Extrapolation of Global Dynamics in Autoregressive Transformers

AI 导读

小型自回归 Transformer 仅用受限参数区间采样的轨迹训练,就能在训练分布之外的参数上闭环复现倍周期分岔、混沌动力学与吸引子结构。在 logistic 映射上,模型重现了直至周期 128 的连续倍周期分岔,得到有限阶标度比 4.6687,与 Feigenbaum 常数误差在 5×10⁻⁴ 以内。因果干预显示,控制参数信息经注意力机制进入状态预测,并塑造闭环动力学。

来源:HuggingFace Daily Papers · arxiv.org