Folia
← 返回头版

研究人员提出“Lattice of Latents”新架构,显著提升语言模型计算容量

研究人员推出了一种名为“Lattice of Latents”(潜在格)的新型语言模型架构,旨在通过增加计算容量来优化模型性能 1。该架构的核心创新在于引入了沿时间递归运行的每层水平潜在流,这一机制与通过深度的垂直残差流并行工作 1。实验数据显示,在20B FineWeb-Edu tokens上训练的406M参数模型中,采用该架构后验证集困惑度从基准Transformer的15.41降低至14.40 1。此外,该架构展现出良好的兼容性,当与超连接(hyper-connections)和输入残差技术结合时,可将基准Transformer的困惑度进一步降至13.61 1。

除了标准Transformer模型,“Lattice of Latents”机制还能显著改善Gated DeltaNet和Mamba-2等混合模型的困惑度表现 1。在这些模型中,Lattice变体在所有测试的原生状态大小下均提升了性能,部分变体的表现甚至优于原生状态大小大4倍的纯基线模型 1。在效率方面,LLLM仅使用22层网络结构,相比拥有40层的Transformer,在保持相同注意力宽度的前提下,其KV cache大小减少了45% 1。


来源

  1. Hacker NewsLatent Lattice Language Models

评论