// AI 新闻 · 2026-11-06 · IT之家
英伟达通过全栈协同设计提升智能体每美元吞吐量
英伟达于11月5日发布技术解读，提出全栈协同设计方案，通过分层内存架构、NVFP4量化和KV缓存分层卸载等手段，在HBM容量仅增加约3%的前提下，将智能体推理的每美元吞吐量提升至最高30倍。该方案将GPU、CPU、网络、存储与软件整体协同设计，优化数据压缩、层级放置及动态迁移策略，缓解因大模型上下文长度增长带来的内存压力。
原文发布 2026-11-06 07:30（北京时间）来源 IT之家自动整理 · 已核对原文
01摘要
具体技术包括使用NVFP4格式压缩权重和KV缓存，将模型权重分散至最多72颗GPU，在Vera CPU的大容量LPDDR内存中缓存暂停上下文，并通过Dynamo推理软件将不活跃上下文迁移至CMX存储。RAG索引也保留在CPU与存储侧，避免长期占用HBM。在每用户每秒125 token条件下，Vera Rubin NVL72平台相较GB300 NVL72实现最高30倍的每美元吞吐量提升，表明AI算力竞争正从显存规模转向单位成本下的有效输出效率。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 通过全栈协同设计，在HBM容量仅增约3%的情况下，将智能体每美元吞吐量提升至最高30倍。
- 采用NVFP4量化压缩模型权重和KV缓存，降低显存占用并提升数据处理效率。
- 利用Vera CPU的LPDDR内存与Dynamo软件实现上下文动态迁移，缓解GPU内存压力。
- RAG索引保留在CPU与存储侧，避免长期占用昂贵HBM显存。
03原文出处
英伟达破局 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
IT之家 · 发布于 2026-11-06 07:30（北京时间）
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-06 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日