Skip to content
简体中文

切换主题

// AI 新闻 · 2026-11-10 · NVIDIA

NVIDIA 推出 Snapshot 开源项目实现 GPU 工作负载秒级启动与恢复

NVIDIA 发布开源的 Snapshot 系统,用于在 Kubernetes 上对 GPU 工作负载进行检查点和恢复。该系统捕获已初始化的 CPU 和 GPU 内存状态,使推理副本在 3.6 到 42.7 秒内恢复,比冷启动快 8 倍至 36 倍。系统支持多 GPU 工作负载,包括张量并行、数据与专家并行及解码上下文并行,可处理高达 1 TB 的混合专家模型检查点。

原文发布 2026-11-10 23:00(北京时间)来源 NVIDIA自动整理 · 已核对原文

01摘要

在 NVIDIA B200 GPU 上测试显示,GPU 状态恢复耗时 18 到 29 秒,CPU 进程恢复耗时 4.2 到 10.8 秒。Checkpoint 创建时间介于 15 秒至 5.5 分钟之间,且在所有测试配置中,检查点加恢复总时间均短于单次冷启动。该技术已集成至 NVIDIA Dynamo 平台,并提供 vLLM、SGLang 和 TensorRT LLM 的示例配置。

由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。

02要点

03原文出处

Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot

NVIDIA · 发布于 2026-11-10 23:00(北京时间) · 上方为原标题

05相关新闻

出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-11-10 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日

数据更新于:AI 新闻(北京时间)