10月6日,开发者Niko1221开源推出Strata引擎,可在12GB及以上显存的消费级显卡上运行量化的Qwen3.8-Flash-Next模型(1250亿参数)。
Strata采用两项关键技术降低显存占用:将MoE模型整体载入RAM,仅将高频使用的专家模型载入VRAM;同时使用轻量模型进行投机解码,预测下一Token以加速推理。
硬件最低要求为12GB以上VRAM的NVIDIA或AMD显卡、32GB以上RAM、80GB以上存储空间,支持Windows 10/11或Linux。在RTX 5070 12GB、Ryzen 5 7600、64GB RAM下,2比特量化版Q2_0达94词元/秒,3比特IQ3_S为53词元/秒;RX 9070 XT 16GB下Q2_0为60词元/秒。
