开源 Python 工具库 Strot 通过将大语言模型推理从运行时转移至编译阶段，使生产环境能够在本地硬件上以零成本运行分类、评分、路由等决策任务。该工具在编译时调用一次 LLM（如 Claude Opus 4），生成冻结的自包含决策制品，避免了幻觉问题并确保了输出的有界性和可靠置信度。
开发者成功在iPhone 18的Apple Neural Engine上部署了Qwen 3.8-27B大型语言模型。该实现通过向量量化和低比特权重压缩技术，将模型大小压缩至1.5比特每权重(bpw)，同时支持24K的上下文长度。
一项在线计算器工具近日发布，可预测不同Mac机型运行各类大语言模型的能力和速度。该工具基于两个核心公式运作：首先通过参数数量计算模型是否能装入统一内存，其次利用内存带宽除以权重大小的方式预测生成速度。
Strata是一个开源工具项目，可在配备RTX 4090等消费级显卡的个人电脑上运行125亿参数的Qwen 3.8-Flash-Next大模型，推理速度达到100 token/秒。该项目通过在GPU、内存和固态硬盘间动态分配工作负载，使原本需要服务器级硬件才能支撑的大模型在家用计算机上可行。
PrismML推出了Ternary Bonsai 2 27B模型，该模型基于阿里巴巴的开源Qwen 27B模型，采用三值量化技术实现显著的模型压缩。经过压缩后，模型大小仅为5.9GB，相比全精度版本缩小9至10倍，使高性能推理能够在个人电脑和智能手机等本地设备上运行。
开发者Owen Song独立完成并开源了Inflect-Micro-v2，这是一款参数量低于1000万的完整文本转语音（TTS）合成模型。该模型包含9,356,513个可部署参数，FP32格式下占用37.53 MB的存储空间。