Kv缓存压缩

科技人工智能

DeepSeek发布V4.1 Flash模型,推进KV缓存压缩技术

DeepSeek推出了V4.1 Flash模型,这是一个拥有552B参数的多模态混合专家模型,能够支持高达1百万tokens的上下文长度。该模型采用Causal Encoder-Decoder架构、CSA2压缩机制和FP4量化等技术手段,在KV缓存存储方面取得显著进展。