Bitcos算法

科技人工智能

突破三值大语言模型1.58比特存储瓶颈

研究人员提出BITCOS算法,有效降低三值大语言模型的存储成本。该算法分析了29个三值LLM模型中的权重分布特性,发现零权重占比最高达51.5%。利用这一特征,BITCOS采用自适应分布式布局方案,在26个测试模型上的存储效率超过了传统五进制打包方法。