小红书发布DoSA，长上下文首token延迟减半

小红书 Dots 部门发布 DoSA，一种用于稀疏注意力索引器的加速方法。小红书技术称，该方法在保持原始 Top-K 选择结果不变的前提下，用分数上下界提前排除不可能入选的候选，再配合 GPU 内核优化，将长上下文首 token 延迟减少近一半。 所谓“无损”，指 DoSA 不改变最终选出的 Top-K 候选集合；延迟减半是小红书方面给出的说法，尚待外部验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。