缓存优化

科技人工智能

LRU缓存策略超越现有研究预期,多种优化方案均未能改进

研究者基于68,266条真实Claude Code会话请求和23,608条Mooncake请求进行了模拟实验,探索是否能在生产环境中的LRU缓存策略基础上实现性能突破。结果表明,三种优化方案的尝试均以失败告终,这与当前关于KV缓存的学术文献所暗示的LRU策略改进空间存在显著差异。

科技互联网

Cloudflare开发缓存转码系统可节省数PB存储容量

Cloudflare开发了Cache Transcoding系统,通过在Pingora架构中使用Zstandard压缩算法对缓存资产进行编码。该系统在初期测试中将符合条件的资产压缩至原大小的三分之一,同时以较小的CPU成本换取数PB级缓存容量和跨数据中心带宽的显著节省。