近日,一项名为“smolmaxxing”的技术方案发布,其核心目标是在电视盒子、旧手机、平板、单板计算机以及路由器等算力有限的设备上运行尽可能大的大型语言模型 。该项目基于MIT许可证的llama.cpp代码库开发,但强调必须使用打过补丁的特定版本,因为标准版的llama.cpp无法加载经过头部裁剪的文件 。