Strata是一个开源工具项目，可在配备RTX 4090等消费级显卡的个人电脑上运行125亿参数的Qwen 3.8-Flash-Next大模型，推理速度达到100 token/秒。该项目通过在GPU、内存和固态硬盘间动态分配工作负载，使原本需要服务器级硬件才能支撑的大模型在家用计算机上可行。
WASTE是一款用C语言编写的推理引擎，能够在消费级硬件上运行超大规模语言模型。该引擎使得拥有64GB内存的MacBook Pro M5 Pro可以运行参数量达2.78万亿的Kimi K3大模型，推理速度达到0.49-0.54 tokens/秒。