// AI 新闻 · 2026-11-06 · NVIDIA Newsroom

NVIDIA通过全栈协同设计提升AI内存效率

NVIDIA与内存供应商合作，将HBM3e和HBM4技术集成至加速计算架构中。公司采用全栈协同设计方法，联合优化GPU、CPU、网络、存储及软件系统，提升AI工厂各层级对内存的利用效率。在模型规模扩大、上下文长度增加及代理应用普及背景下，HBM面临更大压力，NVIDIA通过压缩模型权重、优化KV缓存和离线存储策略缓解这一问题。

阅读原文（NVIDIA Newsroom）↗

原文发布 2026-11-06 00:00（北京时间）来源 NVIDIA Newsroom自动整理 · 已核对原文

01摘要

具体措施包括采用NVFP4格式将模型权重精度降至4位，减少存储需求，并将权重分布于72个GPU之间；同时对KV缓存应用NVFP4降低其占用空间，利用NVIDIA Vera CPU提升工具执行效率并缩短缓存空闲时间，通过NVIDIA CMX存储系统将非活跃上下文迁移至低成本层级，在需要时快速回取。

由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。

02要点

NVIDIA采用全栈协同设计，整合GPU、CPU、存储与软件以优化内存使用效率
模型权重通过NVFP4格式压缩并分布于72个GPU中，释放HBM空间用于KV缓存
KV缓存采用NVFP4降低占用，结合Vera CPU缩短空闲时间，非活跃上下文迁移到CMX存储层
在Blackwell Ultra至Vera Rubin平台间，HBM容量提升约3%，代理推理每美元吞吐量提升达30倍

03原文出处

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

NVIDIA Newsroom · 发布于 2026-11-06 00:00（北京时间） · 上方为原标题

05相关新闻

出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-06 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

01摘要

02要点

03原文出处

04站内相关

相关产品与工具

05相关新闻