Strata是一个开源工具项目,可在配备RTX 4090等消费级显卡的个人电脑上运行125亿参数的Qwen 3.8-Flash-Next大模型,推理速度达到100 token/秒。该项目通过在GPU、内存和固态硬盘间动态分配工作负载,使原本需要服务器级硬件才能支撑的大模型在家用计算机上可行。