Kv缓存压缩

字节 Seed 团队发现 DeepSeek 模型长上下文性能波动问题

字节跳动 Seed 团队在 arXiv 发表研究论文，揭示了 DeepSeek 模型采用的分块 KV 缓存压缩技术存在的性能缺陷。该技术通过固定步幅将连续标记窗口压缩为更少缓存条目，但研究发现这一方案存在相位敏感性问题，导致长上下文检索性能出现周期性变化。

DeepSeek推出了V4.1 Flash模型，这是一个拥有552B参数的多模态混合专家模型，能够支持高达1百万tokens的上下文长度。该模型采用Causal Encoder-Decoder架构、CSA2压缩机制和FP4量化等技术手段，在KV缓存存储方面取得显著进展。