Gpu数据洗牌

科技半导体

GPU数据洗牌框架实现超高吞吐量 RapidsMPF优化内存溢出机制

RapidsMPF分布式数据洗牌库在NVIDIA的DGX B200系统上实现了约1.8 TiB/s的全局吞吐量,可处理超过GPU显存容量的海量数据。该框架通过智能内存溢出机制解决显存压力问题,允许接收端将数据直接存储在主机内存中以避免内存溢出。