小红书联合北大、上交提出 HYPIC
热点事件历史事件
小红书联合北大、上交提出 HYPIC
1 篇报道1 个报道来源2026-07-16更新
先了解这件事
报道摘要
小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。
摘自 公众号：小红书技术
最新进展7月16日 18:00
小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍报道时间线
沿着报道，了解事件的不同侧面。
7月16日
- 公众号：小红书技术精选小红书联合北大、上交提出 HYPIC，让混合注意力大模型用上位置无关缓存，首 token 延迟降 3.25 倍
小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。