Transformer 残差流中的推理几何：六款预训练语言模型研究

研究对比六款预训练语言模型的中间残差状态与自身最终状态及其他上下文的最终状态，发现模型自身终点在早期就优于平均替代项，但许多单个终点距离更近。竞争终点集合随深度总体收缩，但其成员不断变化，存活终点之间未必更相似；方向对齐和终点排名可以改善，而到最终状态的欧氏距离变化很小。