Folia
← 返回头版

双台NVIDIA DGX Station实现GLM-5.3高吞吐本地部署

开发者发布了一份技术教程,展示了如何在两台通过RDMA连接的NVIDIA DGX Stations上,利用vLLM框架本地部署并运行753亿参数的GLM-5.3大模型 1。该方案针对单卡显存不足以容纳约464 GB模型检查点的问题,采用张量并行(TP=2)技术将模型权重分割至两台设备的GB300 GPU中 1。硬件环境具体配置为两台配备GB300 GPU的NVIDIA DGX Station,并通过ConnectX-8 RDMA进行高速互联 1。

在软件栈方面,教程使用vLLM v0.30.0-aarch64版本,并启用了多令牌预测(MTP)、FP8 KV缓存存储以及前缀缓存(Prefix Caching)等关键优化配置 1。基准测试数据显示,在并发数为16的情况下,整体输出吞吐量峰值达到607.8 tok/s 1。然而,平均单用户吞吐量随并发数增加而显著下降,从并发数为1时的115.3 tok/s降至并发数为32时的13.0 tok/s 1。此外,该部署方案将最大模型上下文长度限制设置为98304 tokens 1。


评论