开发者发布并开源了名为 LookAtMyQuant 的量化编译器,该工具通过测量压缩对输出的影响来分配比特位,显著优化了大语言模型的存储效率 。核心演示显示,LookAtMyQuant 成功将 thinkingmachines 旗下的 Inkling-2-Mini 模型从原始的 18.89 GB 文本权重压缩至 5.…