公众号：小红书技术·2026-10-21 17:59· 2 小时前AI 评分48

小红书 DoSA 将长上下文首 token 延迟无损减少近一半

提速不降智，小红书DoSA将首token延迟无损减少近一半

AI 导读

小红书自研的稀疏注意力索引器加速方法 DoSA，在保持原始 Top-K 选择结果的前提下，用分数上下界提前排除不可能入选的候选。

来源：公众号：小红书技术 · mp.weixin.qq.com

推理能力部署工程论文研究 #论文/研究 #推理 #部署/工程