Folia
← 返回头版

开发者推出smolmaxxing项目:让大语言模型在低算力设备上运行

近日,一项名为“smolmaxxing”的技术方案发布,其核心目标是在电视盒子、旧手机、平板、单板计算机以及路由器等算力有限的设备上运行尽可能大的大型语言模型 1。该项目基于MIT许可证的llama.cpp代码库开发,但强调必须使用打过补丁的特定版本,因为标准版的llama.cpp无法加载经过头部裁剪的文件 1。

通过实施针对Cortex-A55/A7芯片的1-bit查找表内核优化、头部裁剪(head pruning)、专家分页(experts paged from flash)以及密集模型流式传输等关键技术,该方案实现了显著的性能突破 1。实测数据显示,在仅有约1GB内存的设备(如电视盒子和iPad)上,该系统能够成功运行8B和16B参数的MoE模型;而在拥有约3GB空闲内存的手机上,则可支持35B和80B参数的大规模模型 1。具体支持的模型示例包括大小为12.3 GB的Qwen3.6-35B-A3B以及27.6 GB的Qwen3-Next-80B-A3B 1。


评论