跳到正文
HuggingFace Daily Papers·· 2 天前AI 评分40

Memorizon:让世界模型在上下文窗口之外训练

Memorizon: Training World Models Beyond Their Context Window

AI 导读

Memorizon 提出一种训练方法,让流式世界模型在远超上下文窗口的长跨度上接受监督:训练样本可覆盖任意长度,但只对最后 k 个 chunk 计分,每个计分 chunk 通过相机共视性检索自己的 top-K latent,其并集构成受 kK 约束的共享 bank,使序列长度保持有界。

来源:HuggingFace Daily Papers · arxiv.org