Recurrent Looped Transformer

递归循环Transformer架构面世

研究人员提出了递归循环Transformer（RLT）架构，将因果编码器与递归解码器相结合。该设计通过在每个提示和响应令牌之间携带隐藏状态和滑动窗口注意力缓存，实现随序列增长而扩展的无界时间深度。