Lattice OF Latents

科技人工智能

研究人员提出“Lattice of Latents”新架构,显著提升语言模型计算容量

研究人员推出了一种名为“Lattice of Latents”(潜在格)的新型语言模型架构,旨在通过增加计算容量来优化模型性能 。该架构的核心创新在于引入了沿时间递归运行的每层水平潜在流,这一机制与通过深度的垂直残差流并行工作 。实验数据显示,在20B FineWeb-Edu tokens上训练的406M参数模型中,…