第 4 步 · 软件栈
软件栈：从下往上装
按这个顺序装。大多数“跑不起来”的问题，都是相邻两层版本不匹配。
1. 操作系统
Linux服务器用 Ubuntu LTS；DGX 系统自带 DGX OS 7（基于 Ubuntu 24.04）；DGX Spark 也是 DGX OS。docs.nvidia.comnvidia.com
Windows / macOS只适合个人档：Windows + WSL2 跑 CUDA 工具，macOS 跑 MLX / llama.cpp。github.comgithub.com
2. 驱动与互联
NVIDIA 驱动服务器用数据中心驱动包。Blackwell 需要较新的驱动和 CUDA 版本，最低版本以 CUDA 发行说明为准（按你的系统核对）。docs.nvidia.comdocs.nvidia.com
Fabric ManagerNVSwitch 系统（HGX / DGX 8 卡）必须装，否则 GPU 间 NVLink 起不来。docs.nvidia.com
AMD ROCmInstinct MI300X / MI355X 的驱动与运行时。rocm.docs.amd.com
3. CUDA 与容器
CUDA Toolkit按 Linux 安装指南装；一个集群固定一个版本。docs.nvidia.com
Container Toolkit让 Docker / containerd 能用 GPU——跑 vLLM / SGLang 镜像最省事。docs.nvidia.com
KubernetesGPU Operator 在每个节点上自动装驱动、容器工具、设备插件和 DCGM 导出器。docs.nvidia.comkubernetes.io
4. 推理引擎
llama.cppGGUF 量化、CPU + GPU 混合卸载、支持 Apple 芯片；很多桌面应用的底层。github.com
Ollama最省事的本地运行器；默认只监听 127.0.0.1:11434。docs.ollama.comdocs.ollama.com
MLX / mlx-lmApple 芯片上的原生框架。github.com
vLLM生产级服务，提供 OpenAI 兼容接口；会按 gpu-memory-utilization 预先占用显存。docs.vllm.aidocs.vllm.ai
SGLang高吞吐的服务运行时，提供 OpenAI 兼容接口。docs.sglang.ai
TensorRT-LLMNVIDIA 官方的推理优化库。github.com
Dynamo跨节点分布式服务（预填充 / 解码分离）；NVIDIA 的 GB300 测试用的就是它。github.comnvidia.com
5. 训练与微调
PyTorch FSDP / DeepSpeed把权重、梯度、优化器状态分片到多卡（ZeRO 思路）。docs.pytorch.orgarxiv.org
微调工具组合Unsloth、LLaMA-Factory、TRL——见本站软件组合。
6. 调度与管理
SlurmSuperPOD 类训练集群常用的作业调度。slurm.schedmd.comdocs.nvidia.com
Mission Control / Base CommandNVIDIA 给 DGX / NVL72 集群的管理软件。nvidia.comnvidia.com
软件库：本地推理工具 → · 软件组合：本地私有大模型、微调 → · 学 AI：推理引擎 → · 学 AI：模型网关 →