NVIDIA 五项共设计提升AI工厂每字节利用率

在相同288GB GPU容量下，Vera Rubin NVL72系统相较GB300 NVL72实现高达30倍的单位兆瓦吞吐量，关键在于提升每字节的有效工作量而非单纯增加容量。NVFP4精度格式将模型和KV缓存存储量分别减少3.5倍（对比FP16）和1.8倍（对比FP8），同时保持准确性；TensorRT-LLM通过宽专家并行将专家分布于八台以上GPU，释放每GPU更多HBM用于缓存与批处理；Dynamo实现KV缓存的跨节点路由与分层调度，支持GPU、CPU和存储间的缓存分片；Vera CPU提供88个Olympus核心，通过NVLink-C2C以1.8TB/s连接Rubin，支持空闲KV缓存暂存；CMX在Pod层级引入G3.5存储层，基于BlueField-4 STX等技术实现跨节点KV缓存共享与复用。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。