可解释性ai

科技人工智能

Anthropic 推出基于循环 Transformer 架构的小型开源模型 Inkling 2 Mini

Anthropic 发布了名为 Inkling 2 Mini 的小型开源权重大语言模型,该模型采用独特的“循环 Transformer”架构,通过重复运行中间层来提升推理能力而无需增加参数量 。Inkling 2 Mini 的总参数为 26.4B,激活参数为 3.4B;其核心设计是将模型 24 层中的中间 12 层对…