// AI 新闻 · 2026-11-03 · NVIDIA
NVIDIA 推出自动化训练工作负载恢复服务
NVIDIA 在其 DSX OS 平台中推出 NVIDIA Recovery 服务，该服务通过分析应用日志、GPU 指标和调度信号，实现对集群训练作业的全天候自动化恢复。服务采用四阶段循环机制，检测异常、归因失败、隔离受影响节点，并根据预设策略重启或终止工作负载。
原文发布 2026-11-03 06:43（北京时间）来源 NVIDIA自动整理 · 已核对原文
01摘要
在一项为期三个月的生产监控中，覆盖每日近200个训练作业，共记录约8550次异常检测，平均检测与恢复动作延迟分别为69秒和94秒。服务支持通过 Helm 图表集成 Slurm，提供本地部署及 SSH 模式下的部署方案，并默认以监控模式启动，允许操作员验证信号质量后再启用自主恢复功能。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- NVIDIA Recovery 通过日志、GPU指标和调度信号检测训练作业中断，实现全天候自动化恢复。
- 服务采用四阶段循环机制，包括异常检测、失败归因、节点隔离及基于策略的重启或终止操作。
- 支持与 Slurm 集成，可通过 Helm 图表以集群内或 SSH 模式部署，初始运行于监控模式供验证。
- 生产环境中每日处理近200个作业，平均检测延迟69秒，恢复动作延迟94秒。
03原文出处
Keep Distributed Training Running with Automated Workload Recovery
NVIDIA · 发布于 2026-11-03 06:43（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-03 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日