Folia
← 返回头版

Anthropic 推出基于循环 Transformer 架构的小型开源模型 Inkling 2 Mini

Anthropic 发布了名为 Inkling 2 Mini 的小型开源权重大语言模型,该模型采用独特的“循环 Transformer”架构,通过重复运行中间层来提升推理能力而无需增加参数量 1。Inkling 2 Mini 的总参数为 26.4B,激活参数为 3.4B;其核心设计是将模型 24 层中的中间 12 层对每个 Token 重复运行 3 次 1。

在部署规格方面,该模型权重原生采用 NVFP4 精度(最后四层为 MXFP8),内存占用约为 20GB,支持在 MacBook Pro 等设备上离线运行 1。尽管体积小巧,Inkling 2 Mini 在多项基准测试中超越了同尺寸的其他开放权重模型,具体得分为 DeepSWE v1.1 的 48.2% 和 Vals Index v2.2 的 46.5% 1。目前,该模型已通过 Tinker、Hugging Face 和 Ollama 等平台提供推理及微调服务 1。

研究实验还揭示了该架构对链式思维(CoT)监控的影响:随着循环次数从 1 次增加到 3 次,模型的无 CoT 时间视界从 16 秒提升至 37 秒 1。观察显示,更多的循环次数使得 CoT 变短但仍保持可读性,且未出现明显的监控逃避趋势 1。


来源

  1. Hacker NewsInkling 2 Mini

评论