深耕实体创业,拒绝短期投机;聚焦可落地商业模式,与实干者共建长期事业。
商务合作关于我们联系我们投稿合作
创场创业创场创业让创业有方法、起步有赛道
创场创业
创场创业让创业有方法、起步有赛道
首页创业干货创业头条创业经验工商财税运营获客项目赛道轻资产线上项目小成本实体生意副业转型创业避雷项目盘点工具资料AI排行榜
快讯

开发者开源Strata引擎:12GB显卡可跑125B Qwen3.8模型

2026-10-06 15:45:52

10月6日,开发者Niko1221开源Strata引擎,可在12GB及以上显存的消费级显卡上运行量化的Qwen3.8-Flash-Next模型(125B参数)。RTX 5070 12GB下,2比特量化版Q2_0达94词元/秒。

10月6日,开发者Niko1221开源推出Strata引擎,可在12GB及以上显存的消费级显卡上运行量化的Qwen3.8-Flash-Next模型(1250亿参数)。

Strata采用两项关键技术降低显存占用:将MoE模型整体载入RAM,仅将高频使用的专家模型载入VRAM;同时使用轻量模型进行投机解码,预测下一Token以加速推理。

硬件最低要求为12GB以上VRAM的NVIDIA或AMD显卡、32GB以上RAM、80GB以上存储空间,支持Windows 10/11或Linux。在RTX 5070 12GB、Ryzen 5 7600、64GB RAM下,2比特量化版Q2_0达94词元/秒,3比特IQ3_S为53词元/秒;RX 9070 XT 16GB下Q2_0为60词元/秒。