第 6 步 · 运维
上线以后
硬件是最简单的部分；大部分成本和停机来自运维。
日常
验收测试签收前：每块 GPU 跑 DCGM 诊断，多机跑 nccl-tests，把总线带宽和网络标称速率对比。docs.nvidia.comgithub.com
监控用 DCGM 看健康、温度、ECC 错误和利用率；Kubernetes 上 GPU Operator 会部署 DCGM 导出器接 Prometheus。docs.nvidia.comdocs.nvidia.com
版本固定每个集群固定驱动、CUDA 和推理引擎版本；先在一台灰度节点上升级。docs.nvidia.comdocs.nvidia.com
容量复盘每月看 token/s、排队时间和利用率；利用率长期偏低就回到第 1 步重新算账。
常见坑
HGX 机器上 NVLink 不通没装 Fabric Manager，或版本和驱动不一致。docs.nvidia.com
模型明明放得下却 OOM忘了 KV 缓存 × 并发；另外 vLLM 会按 gpu-memory-utilization 预先占显存。docs.vllm.ai
推理服务暴露到公网Ollama 默认只监听 127.0.0.1；改了 OLLAMA_HOST 就会对外暴露——前面要加带鉴权的网关。docs.ollama.com
跳闸 / GPU 降频多卡工作站挤在一路 10A 线路上；进风温度超出规格（DGX B300 为 10–30°C）。docs.nvidia.com
多机训练慢轨道接错或某个平面掉线——nccl-tests 一跑就能看出来。github.comdocs.nvidia.com
量化后效果变差切流量前用自己的任务评测量化后的模型。
水货 / 来路不明的卡没有保修和返修渠道；数据中心 GPU 还可能涉及出口管制风险。federalregister.govbis.gov
按峰值买硬件自建承接基础负载，峰值溢出到 API 或租用 GPU。