自注意力在竞争下的检索容量

研究通过保留每个注意力头、层和查询中注意力权重最高的 token 并测量 NLL 增幅，估算语言模型维持损失容差所需的"有效注意力集合"大小。基于注意力的选择显著优于随机选择，扩展上下文会增大所需集合大小，而重归一化保留权重可大幅降低该规模。