Folia
← 返回头版

LookAtMyQuant 将 Inkling-2-Mini 压缩至 5.4GB,开源量化编译器提升内存效率

开发者发布并开源了名为 LookAtMyQuant 的量化编译器,该工具通过测量压缩对输出的影响来分配比特位,显著优化了大语言模型的存储效率 1。核心演示显示,LookAtMyQuant 成功将 thinkingmachines 旗下的 Inkling-2-Mini 模型从原始的 18.89 GB 文本权重压缩至 5.38 GB,平均每个权重仅占用 1.63 比特 1。在性能对比中,这一 5.38 GB 版本的模型在 GSM8K 和 HumanEval 基准测试上的得分高于 Unsloth 推出的 9.14 GB UD-Q2_K_XL 模型,证明了其在保持性能的同时大幅降低内存占用的能力 1。

除了 Inkling-2-Mini,该工具还在其他主流模型上展现了出色的压缩效果:Qwen3.5-4B 被压缩至 1.23 GB(2.3 bits per weight),而 Qwen3.8-27B 则从 53.7 GB 大幅缩减至 7.2 GB(2.1 bits per weight) 1。技术上,LookAtMyQuant 采用了后训练量化、格状编码 (trellis codes)、基于 Fisher 信息的行比特分配以及蒸馏步骤等先进方法 1。针对 Apple Silicon 硬件的适配测试表明,在 M5 Max 芯片上运行 5.4 GB 版本时,解码速度可达串行 73.2 tok/s,中位数速度为 125.2 tok/s 1。目前,该项目的代码已遵循 MIT 许可证正式开源 1。


来源

  1. Hacker NewsInkling-2-Mini in 5.4 GB Memory

评论