#推理引擎

千亿模型消费级部署成真：Strata 三级调度让 RTX 5070 跑 125B Qwen3.8-Flash-Next

Qwen3.8-Flash-Next（125B MoE）+ Strata 推理引擎，组合后让消费级 RTX 5070 (12GB) 跑千亿模型——94 tok/s，1.6-1.8x 投机解码加速，OpenAI API 兼容可直接接 Cursor / Claude Code。Strata 核心是 GPU 显存 / 系统内存 / 高速 SSD 三级分层调度 + MTP 投机解码。RTX 5090 实测 140-158 tok/s，A100 80GB 跑 Unsloth UD-IQ4_XS 4-bit 混合量化版本，2x TITAN RTX 实测 262K 极限上下文。