显卡推理

12GB 显存显卡跑 125B Qwen3.8 模型：Strata 登场，单张 RTX 5070 跑出 94 词元/秒

开发者 Niko1221 开源推出了 Strata 引擎，使消费级显卡能够运行量化的大模型。 这款引擎支持在 12GB 及以上显存的消费级显卡上运行 Qwen3.8-Flash-Next 模型。 该模型拥有 125B 参数，包含 51B 参数的 n-gram 嵌入表，原生支持 262K token 上下文长度。