Folia
← 返回头版

humans&ai发布GPU加速权重传送技术 优化大规模强化学习同步效率

humans& ai团队于2026年发布了名为“GPU加速权重传送”(GPU-Accelerated Weight Teleportation)的技术方案,旨在解决大规模强化学习中训练器与采样器之间权重同步的性能瓶颈 1。该方案通过结合Delta权重更新、双重压缩算法以及NVIDIA Blackwell架构原生的解压引擎(DE),实现了训练侧与推理侧的高效并行处理 1。实验数据显示,在Ampersand生产配置下,该技术将采样器暂停时间降低至0.23秒以下,端到端权重同步时间控制在4秒以内,其性能优于传统的集群内P2P RDMA传输 1。

在具体技术实现上,该方案采用NVFP4 GLM-5.3模型作为负载代理,并利用Triton kernels在GPU HBM中原位执行bitwise XOR更新权重,使硬件解压与SM计算完全重叠 1。为了平衡GPU友好性与压缩比,团队采用了Snappy加Zstd的双重压缩策略;对比显示,LZ4基线产生5.36 GB载荷,CPU Zstd基线为0.876 GB,而最终优化方案进一步缩小了传输体积并消除了磁盘往返开销 1。目前,相关代码已分布在Miles项目(负责编排与分布式压缩)和SGLang项目(提供异构解压管道与API)中开源发布 1。


评论