Zyphra 解析混合 NoPE 模型的位置学习机制

2026 年 10 月 1 日，Zyphra Research 发布文章，解释混合 NoPE（无位置编码）架构如何在未显式加入位置编码的情况下获得位置信息。文章称，在混合架构中，滑动窗口注意力等局部混合层会在残差流中留下随相对距离变化的近因偏置结构；训练过程中，全局 NoPE 注意力层的 query/key 投影学会读取这一结构，从而形成隐式相对位置编码。该文为 Zyphra 官方一手发布，未提及具体模型名称、训练数据规模、评测结果或发布时间之外的限制条件。目前事件进展仅停留在机制解释层面，尚无后续跟进报道或第三方验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。