Nvidia DGX Station

科技人工智能

双台NVIDIA DGX Station实现GLM-5.3高吞吐本地部署

开发者发布了一份技术教程,展示了如何在两台通过RDMA连接的NVIDIA DGX Stations上,利用vLLM框架本地部署并运行753亿参数的GLM-5.3大模型 。该方案针对单卡显存不足以容纳约464 GB模型检查点的问题,采用张量并行(TP=2)技术将模型权重分割至两台设备的GB300 GPU中 。硬件环境具…