IT之家9月23日消息，小米MiMo大模型负责人罗福莉今日发文，宣布MiMo-V3即将采用全新架构，其核心HySparse 2今日发布。
罗福莉称，HySparse 2在1M Token长度下，预填充计算量（FLOPs）降低5.02倍，KV缓存缩小4.5倍；具有更高的MRCRv2和RULER-v2评分，同时AgentPPL和LongPPL更低。
她表示，智能体推理的每轮交互可能返回需预填充的长文本观察结果，上下文不断增长，使预填充成本、KV缓存大小和检索准确率同时处于关键路径。HySparse 2采用KV桥接和KV重用等改进，以Token级选择替代块级选择，并用近期Token强制窗口替代独立SWA分支。
由于所有交叉解码器KV缓存来自自解码器，预填充在自解码器完成时即可停止。昨日凌晨，小米发布并开源Xiaomi MiMo-V2.6系列，包含Pro与Flash两个原生全模态模型。