个人开发者十天写出Strata引擎，12GB显存跑1250亿参数模型

个人开发者 SaitoWu 称，他用 Claude 和 Codex 用十天写出 Strata 推理引擎，让 12GB 显存跑起 1250 亿参数的 Qwen 3.8 Flash Next。其核心是专家缓存加 CPU 分工：prompt 读速最高达 llama.cpp 的 15 倍，写速同版本比约两到四倍。 SaitoWu 称，压缩版在三项高难度测试中保留完整模型 99.4% 的分数，但专家缓存会带来输出偏差。硬件上，64GB 内存可跑全部版本，推荐 IQ2XS；48GB 只装得下 Q20 或 IQ2XS；macOS 至今不在支持列表。 该引擎一次只答一个请求、默认只留一段对话，切换聊天需重读，因此不能当团队服务器；在 64GB 内存门槛下，对比 API 价格未必划算。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。