线性注意力机制

Kimi Delta Attention机制：从标准注意力到线性化的推导之路

技术作者Jamie Dborin在Hacker News发表文章，详细阐述了Kimi模型所采用的Kimi Delta Attention（KDA）线性注意力机制的完整推导过程。文章从标准softmax注意力机制出发，通过逐步去除规范化步骤得到线性注意力形式，进而引入delta规则以解决线性注意力中的干涉问题。