跳到正文
HuggingFace Daily Papers·· 4 天前AI 评分46

Periscope:让冻结语言模型突破上下文窗口限制的无训练推理方法

Periscope: Extending Frozen Language Models Beyond Their Context Window

AI 导读

Periscope 是一种免训练推理方法,将文本切成 N 个 chunk 排成 K×K 网格,让冻结模型对局部与跨段 span 回答同一问题,用单个 token 的 log-odds 打分,并以 s^1.5 成本让 W token 窗口覆盖 W²/c token 文本。

来源:HuggingFace Daily Papers · arxiv.org