模型压缩

科技人工智能

PrismML发布Bonsai 2 27B模型:9倍压缩率下保留98%性能

PrismML推出了Ternary Bonsai 2 27B模型,该模型基于阿里巴巴的开源Qwen 27B模型,采用三值量化技术实现显著的模型压缩。经过压缩后,模型大小仅为5.9GB,相比全精度版本缩小9至10倍,使高性能推理能够在个人电脑和智能手机等本地设备上运行。

科技人工智能

突破三值大语言模型1.58比特存储瓶颈

研究人员提出BITCOS算法,有效降低三值大语言模型的存储成本。该算法分析了29个三值LLM模型中的权重分布特性,发现零权重占比最高达51.5%。利用这一特征,BITCOS采用自适应分布式布局方案,在26个测试模型上的存储效率超过了传统五进制打包方法。