第 3 步 · 装机方案

装机方案：从桌面到机房

按第 2 步的档位分组。标「经验建议」的行是本站建议，不是厂商参数。

个人1 人开发、学习、本地私有助手

RTX 5090 单卡工作站CUDA

GPU: 1 × GeForce RTX 5090，32GB GDDR7，1,792 GB/s，575 Wnvidia.com
电源: NVIDIA 要求整机电源 ≥ 1,000 W；1 × 600W PCIe Gen5 线或 3–4 × 8pinnvidia.com
内存 / 存储: 内存 ≥ 64GB，NVMe ≥ 2TB 放模型文件经验建议
软件: Ubuntu 24.04 或 Windows + WSL2；单人用 Ollama / llama.cpp，要 OpenAI 兼容服务用 vLLMdocs.ollama.com github.com docs.vllm.ai

能跑: 32B 4 位 + 长上下文；70B 只能部分卸载到 CPU（慢）

Mac Studio（M5 Max，128GB）Apple

整机: M5 Max 18 核 CPU / 40 核 GPU，最高 128GB 统一内存，614 GB/s；最大 480 Wapple.com
软件: MLX（mlx-lm）、llama.cpp、Ollama、LM Studiogithub.com github.com docs.ollama.com

能跑: 单人跑 70B 级 4 位量化；没有 CUDA，大部分训练工具用不了

DGX Spark（1–4 台）CUDA

整机: GB10 Grace Blackwell，128GB LPDDR5x（64GB 版只经 OEM 销售），273 GB/s，FP4 最高 1 PFLOP，240 W 电源，DGX OSnvidia.com
扩展: ConnectX-7 200 Gb/s；最多 4 台互联——官方称 2 台可跑 400B、4 台可跑 700Bnvidia.com
价格: Founders Edition 建议价 2026-02 起 $4,699（之后标价可能变化，待核实）forums.developer.nvidia.com

能跑: 官方称单台推理 200B、微调 70B；生成速度低于独显

工作室2–10 人小团队，内部工具、微调实验

Mac Studio（M5 Ultra，256–512GB）Apple

整机: M5 Ultra 最高 36 核 CPU / 80 核 GPU，256 或 512GB 统一内存，1.2 TB/sapple.com
价格: 美国 Apple Store 标准配置 $2,499–$6,799；256/512GB 为定制选项apple.com

能跑: 一台安静的机器装下数百 B 的量化 MoE；并发能力有限

2–4 × RTX PRO 6000 工作站CUDA

GPU: RTX PRO 6000 Blackwell：每卡 96GB GDDR7 ECC，1,792 GB/s，最大 600 W，双槽nvidia.com
平台: 工作站级 CPU，保证每张卡都有 PCIe 5.0 x16；4 卡光 GPU 就 2.4 kW → 双电源、220–240V 线路经验建议
价格: 需询价

能跑: 192–384GB：小团队 70B BF16 / FP8 服务、70B+ QLoRA

团队几十到几百人在线使用，正式推理服务

HGX H200 8 卡服务器CUDA

GPU: 8 × H200 SXM，每卡 141GB HBM3e（整机 1.1TB），4.8 TB/s，最高 700 W，NVLink 900 GB/snvidia.com docs.nvidia.com
替代: 8 × H100 SXM 80GB（3.35 TB/s）——便宜些，显存只有一半nvidia.com
软件: 数据中心驱动 + Fabric Manager、CUDA、vLLM 或 SGLangdocs.nvidia.com docs.vllm.ai docs.sglang.ai

能跑: 70B BF16 高并发；FP8 单机放下 600B 级 MoE（按公式估算）

AMD Instinct MI300X 8 卡服务器ROCm

GPU: 8 × MI300X OAM，每卡 192GB HBM3（整机 1.5TB），5.3 TB/s，每卡 750 Wamd.com
软件: ROCm；先确认 vLLM / SGLang 对你要跑的模型的 ROCm 支持rocm.docs.amd.com docs.vllm.ai docs.sglang.ai

能跑: 每美元显存更多；先实测——软件成熟度与 CUDA 不同

企业全公司 / 对外服务，前沿开源大模型，持续微调

HGX B300 8 卡服务器CUDA

GPU: 8 × B300 SXM，每卡 288GB HBM3e（整机 2.3TB），最高 8 TB/s，NVLink 1.8 TB/snvidia.com docs.nvidia.com
功耗: 每台约 14.5–15 kWdocs.nvidia.com

能跑: FP8 单机放下 1T 参数级 MoE——完整方案见专页

B300 完整装机方案 →

HGX B200 8 卡服务器CUDA

GPU: 8 × B200 SXM，每卡 180GB HBM3e（整机 1.44TB），最高 8 TB/sdocs.nvidia.com nvidia.com
单卡功耗: 待核实TBV

能跑: FP8 跑 600B 级 MoE，FP4 约 1T（按公式估算）

AMD Instinct MI355X 8 卡服务器ROCm

GPU: 8 × MI355X OAM，每卡 288GB HBM3E，8 TB/s，每卡 1,400 Wamd.com
整机: 如 HPE ProLiant Compute XD685（同一机型也有 B300 / B200 / H200 选项）buy.hpe.com

能跑: 每卡 288GB，与 B300 相同；风冷 / 液冷看机箱

集群预训练、大规模强化学习、算力运营

DGX SuperPOD（DGX B300）CUDA

单元: 每个可扩展单元（SU）72 台 DGX B300（576 GPU）；参考设计 8 SU = 576 台 / 4,608 GPU；每柜 4 台约 56 kWdocs.nvidia.com
网络: Quantum-X800 800 Gb/s InfiniBand 轨道优化胖树，另有存储、带内、带外网络docs.nvidia.com nvidia.com

能跑: 预训练与大规模强化学习

GB300 NVL72 整柜CUDA

整柜: 72 颗 Blackwell Ultra + 36 颗 Grace，一个 130 TB/s 的 NVLink 域，GPU 显存 20TB（快速内存共 37TB），全液冷nvidia.com
网络: ConnectX-8 SuperNIC，每 GPU 800 Gb/s，Quantum-X800 或 Spectrum-Xnvidia.com
整柜功耗: 待核实TBV

能跑: 超大推理模型、超长上下文；需要液冷基础设施

GB200 NVL72 整柜CUDA

整柜: 72 颗 Blackwell + 36 颗 Grace，13.4TB HBM3E，576 TB/s，NVLink 130 TB/snvidia.com

能跑: 上一代整柜方案；机房要求与 GB300 同级

全部硬件参数

硬件	档位	显存/内存	带宽	功耗	价格	适合	来源
GeForce RTX 4090NVIDIA	个人	24GBGDDR6X	待核实	450 W	渠道价波动大，待核实询价/待核实	单卡跑 7–32B 量化模型；LoRA 微调 7–8B	nvidia.com
GeForce RTX 5090NVIDIA	个人	32GBGDDR7	1.79 TB/s	575 W	首发建议零售价 $1,999（2025-01）；实际渠道价常更高	单卡 32B 级 4 位量化 + 较长上下文；个人开发首选之一	nvidia.com nvidianews.nvidia.com
Mac Studio (M5 Max)Apple	个人	128GBunified	614 GB/s	480 W (max continuous, whole system)	美国 Apple Store 标准配置标价 $2,499 起（2026-10-21 读取）	安静省电，适合 70B 级 4 位量化的单人推理；不适合 CUDA 训练	apple.com apple.com
DGX Spark (GB10)NVIDIA厂商自述	个人	128GBLPDDR5x	273 GB/s	240 W PSU (GB10 TDP 140 W)	Founders Edition 建议价 2026-02 调为 $4,699；之后有更高标价的报道，待核实询价/待核实	CUDA 生态的桌面开发机：官方称可推理 200B、微调 70B；内存带宽 273 GB/s，生成速度明显低于独显	nvidia.com forums.developer.nvidia.com
Mac Studio (M5 Ultra)Apple	工作室	512GBunified	1.2 TB/s	480 W (max continuous, whole system)	标准配置标价最高 $6,799；256/512GB 为定制选项，价格以官网为准	256/512GB 统一内存，可单机装下数百 B 参数的量化 MoE；并发吞吐有限	apple.com apple.com
RTX PRO 6000 Blackwell (Workstation)NVIDIA	工作室	96GBGDDR7 ECC	1.79 TB/s	600 W	需询价（官方页无公开价）询价/待核实	单卡 96GB：70B FP8 或 100B+ 4 位量化；2–4 卡工作站可做 QLoRA / 小规模全参微调	nvidia.com
H100 SXM (HGX H100 ×8)NVIDIA	团队	80GB × 8HBM3	3.35 TB/s	up to 700 W / GPU	需询价；云上租用价见「合规商业服务」询价/待核实	8 卡 640GB：70B 级 BF16 服务、30–70B 全参微调；存量最多、软件最成熟	nvidia.com docs.nvidia.com
H200 SXM (HGX H200 ×8)NVIDIA	团队	141GB × 8HBM3e	4.8 TB/s	up to 700 W / GPU	需询价询价/待核实	8 卡约 1.1TB：可单机 FP8 跑 600B+ 级 MoE（如 DeepSeek-V3 级）	nvidia.com docs.nvidia.com
Instinct MI300X (×8 OAM)AMD	团队	192GB × 8HBM3	5.3 TB/s	750 W / GPU	需询价询价/待核实	8 卡 1.5TB；软件栈是 ROCm，vLLM / SGLang 有 ROCm 支持，上线前要按自己的模型实测	amd.com rocm.docs.amd.com
B200 SXM (HGX B200 ×8)NVIDIA	企业	180GB × 8HBM3e	8 TB/s	待核实	需询价询价/待核实	8 卡 1.44TB；FP4/FP8 推理和中大规模训练	nvidia.com docs.nvidia.com
B300 SXM (HGX B300 ×8)NVIDIA	企业	288GB × 8HBM3e	8 TB/s	1,100 W / GPU (Dell XE9780 config)	需询价（未找到官方公开价）询价/待核实	8 卡约 2.3TB：单机 FP8 装下 1T 参数级 MoE，推理型模型长上下文；详见 B300 装机方案	nvidia.com docs.nvidia.com dell.com
Instinct MI355X (×8 OAM)AMD	企业	288GB × 8HBM3E	8 TB/s	1,400 W TBP / GPU	需询价询价/待核实	与 B300 同为 288GB/卡；HPE XD685 等机型同时提供 B300 和 MI355X 选项	amd.com buy.hpe.com
GB200 NVL72 (rack)NVIDIA	集群	13.4TBHBM3E	576 TB/s	待核实	需询价询价/待核实	72 GPU + 36 Grace 一个 NVLink 域（130 TB/s），整柜液冷	nvidia.com
GB300 NVL72 (rack)NVIDIA	集群	20TBHBM3e	576 TB/s	待核实	需询价询价/待核实	72 颗 Blackwell Ultra + 36 Grace，GPU 显存 20TB、快速内存合计 37TB；全液冷，面向超大推理与训练	nvidia.com