Inkling 2 MINI

科技人工智能

LookAtMyQuant 将 Inkling-2-Mini 压缩至 5.4GB,开源量化编译器提升内存效率

开发者发布并开源了名为 LookAtMyQuant 的量化编译器,该工具通过测量压缩对输出的影响来分配比特位,显著优化了大语言模型的存储效率 。核心演示显示,LookAtMyQuant 成功将 thinkingmachines 旗下的 Inkling-2-Mini 模型从原始的 18.89 GB 文本权重压缩至 5.…

科技人工智能

Anthropic 推出基于循环 Transformer 架构的小型开源模型 Inkling 2 Mini

Anthropic 发布了名为 Inkling 2 Mini 的小型开源权重大语言模型,该模型采用独特的“循环 Transformer”架构,通过重复运行中间层来提升推理能力而无需增加参数量 。Inkling 2 Mini 的总参数为 26.4B,激活参数为 3.4B;其核心设计是将模型 24 层中的中间 12 层对…