技术作者Jamie Dborin在Hacker News发表文章，详细阐述了Kimi模型所采用的Kimi Delta Attention（KDA）线性注意力机制的完整推导过程。文章从标准softmax注意力机制出发，通过逐步去除规范化步骤得到线性注意力形式，进而引入delta规则以解决线性注意力中的干涉问题。