HuggingFace Daily Papers·· 2 天前AI 评分40
Memorizon:让世界模型在上下文窗口之外训练
Memorizon: Training World Models Beyond Their Context Window
AI 导读
Memorizon 提出一种训练方法,让流式世界模型在远超上下文窗口的长跨度上接受监督:训练样本可覆盖任意长度,但只对最后 k 个 chunk 计分,每个计分 chunk 通过相机共视性检索自己的 top-K latent,其并集构成受 kK 约束的共享 bank,使序列长度保持有界。
来源:HuggingFace Daily Papers · arxiv.org