开发者发布并开源了名为 LookAtMyQuant 的量化编译器,该工具通过测量压缩对输出的影响来分配比特位,显著优化了大语言模型的存储效率 。核心演示显示,LookAtMyQuant 成功将 thinkingmachines 旗下的 Inkling-2-Mini 模型从原始的 18.89 GB 文本权重压缩至 5.…
Anthropic 发布了名为 Inkling 2 Mini 的小型开源权重大语言模型,该模型采用独特的“循环 Transformer”架构,通过重复运行中间层来提升推理能力而无需增加参数量 。Inkling 2 Mini 的总参数为 26.4B,激活参数为 3.4B;其核心设计是将模型 24 层中的中间 12 层对…