小米MiMo核心组件HySparse 2今日发布，1M Token下预填充计算量降低5.02倍、KV缓存缩小4.5倍

小米 MiMo 公布面向 MiMo-V3 的核心架构 HySparse2。该架构在 HySparse 基础上升级 KV 共享与稀疏选择机制，面向长程多轮 Agent，旨在降低 Prefill 计算和 KV Cache 开销，并提升长上下文检索。

小米 MiMo 大模型负责人罗福莉9月23日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 于9月23日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。

据IT之家9月23日报道，小米MiMo大模型负责人罗福莉发文宣布，MiMo-V3新架构的核心组件HySparse 2今日发布并附论文。该组件在1M Token长度下预填充计算量降低5.02倍、KV缓存缩小4.5倍，MRCRv2和RULER-v2评分更高，AgentPPL和LongPPL更低。以上成绩为发布方宣称。

MiMo-V3采用名为HySparse2的新架构，作者称当天发布。相比MiMo-V2.6的Hybrid SWA架构，该架构在1M tokens下预填充FLOPs降低5.02倍、KV缓存缩小4.5倍，MRCRv2和RULER-v2成绩更好，AgentPPL和LongPPL更低。机制包括KV Bridging（跨解码器全注意力层从自解码器隐藏状态构建K/V）与KV Reuse（稀疏层复用前序全注意力层的KV缓存），并以token级选择和强制近窗取代block级选择与独立SWA分支，使预填充可在自解码器完成后停止，针对Agentic推理中预填充成本、KV缓存与检索精度同时承压的场景；附论文链接。