乔治亚理工学院研究团队发布了"Transformer Explainer"交互式教程工具，旨在通过可视化方式阐释Transformer神经网络架构的核心原理。该工具基于PyTorch的nanoGPT实现，转换为ONNX Runtime在浏览器中实时运行，使用户能够直观探索模型的工作机制。
研究人员提出了递归循环Transformer（RLT）架构，将因果编码器与递归解码器相结合。该设计通过在每个提示和响应令牌之间携带隐藏状态和滑动窗口注意力缓存，实现随序列增长而扩展的无界时间深度。