The Decoder:AI News· Jonathan Kemper·· 3 小时前AI 评分48
Nvidia 研究者称超大 AI 上下文窗口是死路
AI 导读
Nvidia 研究团队认为,模型上下文窗口一味扩大往往是过度且昂贵的做法,定期摘要加定向检索在多项测试中效果相当。GPT-4 于 2023 年 3 月发布时上下文为 8,192 tokens,如今 GPT 5.6 Sol 可处理约一百万 tokens,约为前者 120 倍。
来源:The Decoder:AI News · the-decoder.com