// AI 新闻 · 2026-11-14 · NVIDIA

通过两台DGX Station部署GLM-5.3模型

NVIDIA在技术博客中介绍，为运行GLM-5.3 NVFP4模型，使用两台连接的DGX Station通过vLLM实现分布式服务。该模型参数达7530亿，每token激活400亿参数，超出单台GB300 GPU的252GB HBM3e内存容量，因此采用双站架构并行计算，利用张量并行（TP=2）将权重分摊至两台GPU上。服务端通过单一OpenAI兼容接口提供API，Station A负责返回结果，Station B仅运行推理任务。

阅读原文（NVIDIA）↗

原文发布 2026-11-14 01:00（北京时间）来源 NVIDIA自动整理 · 已核对原文

01摘要

AIPerf基准测试显示，在并发16时输出吞吐量达607.8 tokens/秒，并发32时降至385.0 tokens/秒，平均请求延迟为453.5秒。部署前需完成硬件连接验证、网络配置和环境准备，包括RDMA链路测试、容器环境设置及模型文件拷贝。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

GLM-5.3 NVFP4模型因参数量大，单GPU内存不足，需通过两台DGX Station实现分布式部署。
采用张量并行（TP=2）将模型权重分摊至两台GB300 GPU上，每站承担一半计算任务。
服务通过单一OpenAI兼容接口提供，Station A返回结果，Station B仅执行推理。
并发负载下吞吐量在16时达607.8 tokens/秒，32时降至385.0 tokens/秒，平均延迟453.5秒。

03原文出处

When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM

NVIDIA · 发布于 2026-11-14 01:00（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-14 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

提到的模型

05相关新闻