// 模型 · 部署与算力
自建算力
先判断要不要自建，再选型、采购、装机、运维——从一张 RTX 5090、Mac Studio 到 HGX B300 集群。每个参数都附来源。
按决策顺序 6 步数据核对于 2026-10-21查不到的标“待核实”
01要不要自建？先答 3 个问题
Q1
每月用量大而且稳定吗？是 · 继续往下，用盈亏计算器算一下。
否 · 用 API，按 token 付费。
Q2
数据必须留在自己网络里吗？是 · 自建，或专属私有云。
否 · API 或云 GPU 都可以。
Q3
要训练或微调吗？是 · 偶尔 → 租云 GPU；持续 → 买。
否 · 只做推理 → 按显存和并发选型。
02显存计算器
选型详解 →选模型参数量、精度和上下文长度，算出需要多少显存、哪些硬件放得下。
架构参数（用于 KV 缓存）
KV 缓存 = 2 × 层数 × KV 头数 × 头维度 × 上下文 × 并发 × 字节数。MLA 模型（DeepSeek-V3、Kimi K2）每层缓存 576 维潜向量，这里按 1 个头 × 288 折算。
—合计估算（GB）
—权重
—KV 缓存
—运行开销
显卡与服务器（独立显存）
- 8GB 显卡（如 RTX 4060）
- 12GB 显卡（如 RTX 3060 12G）
- 16GB 显卡（如 RTX 5060 Ti 16G）
- GeForce RTX 4090 · 24GB
- GeForce RTX 5090 · 32GB
- 2 × RTX 5090 · 64GB
- H100 SXM · 80GB
- RTX PRO 6000 Blackwell · 96GB
- DGX Spark · 128GB
- H200 SXM · 141GB
- B200 SXM · 180GB
- Instinct MI300X · 192GB
- B300 SXM · 288GB
- Instinct MI355X · 288GB
- 4 × RTX PRO 6000 · 384GB
- 8 × H100 · 640GB
- 8 × H200 · 1,128GB
- 8 × B200 · 1,440GB
- 8 × Instinct MI300X · 1,536GB
- 8 × B300 · 2,304GB
- 8 × Instinct MI355X · 2,304GB
Mac / DGX Spark（统一内存）
Mac 16GBMac 24GBMac 32GBMac 36GBMac 48GBMac 64GBMac 96GBMac 128GBMac 256GBMac 512GBDGX Spark 128GB
macOS 默认只允许 GPU 使用部分统一内存：36GB 及以下约 2/3，更大的机型约 3/4，这里按此比例判断。DGX Spark 按 128GB 的约 90% 可用估算（以实际系统镜像为准，待核实）。
假设：运行开销 = 权重的 10% + 0.5GB。多卡行假设张量 / 流水线并行把权重和 KV 平均切分，未计每卡重复的缓冲区。绿色 = 放得下；黄色 = 余量不到 10%；灰色 = 放不下。实际占用因推理引擎（vLLM、SGLang、llama.cpp、Ollama、MLX）而异——例如 vLLM 会预先占用大部分空闲显存做 KV 缓存。
03重点：HGX B300
04六个步骤
05档位速览
| 档位 | 谁在用 | 典型硬件 | 模型规模 |
|---|---|---|---|
| 个人 | 1 人开发、学习、本地私有助手 | 单机（一张消费卡 / 一台 Mac / 一台 DGX Spark） | 7–32B 量化；Mac / Spark 大内存可到 70–200B 量化（速度较慢） |
| 工作室 | 2–10 人小团队，内部工具、微调实验 | 高配工作站（2–4 张 96GB 专业卡）或 512GB Mac | 70B FP8、100B+ 量化；QLoRA 70B |
| 团队 | 几十到几百人在线使用，正式推理服务 | 1 台 8 卡服务器（H100 / H200 / MI300X 或 RTX PRO 服务器） | 70B BF16 高并发；H200 8 卡可 FP8 跑 600B 级 MoE |
| 企业 | 全公司 / 对外服务，前沿开源大模型，持续微调 | 1–16 台 HGX B200 / B300（或 MI355X）+ 高速网络 | 1T 参数级 MoE（FP8）单机可放；长上下文推理 |
| 集群 | 预训练、大规模强化学习、算力运营 | 数十到数千台节点，或 GB200 / GB300 NVL72 整柜 | 训练和服务任意规模模型；瓶颈在电力、网络和运维 |
06硬件参数总表（全部附来源）
| 硬件 | 档位 | 显存/内存 | 带宽 | 功耗 | 价格 | 适合 | 来源 |
|---|---|---|---|---|---|---|---|
| GeForce RTX 4090NVIDIA | 个人 | 24GBGDDR6X | 待核实 | 450 W | 渠道价波动大，待核实询价/待核实 | 单卡跑 7–32B 量化模型；LoRA 微调 7–8B | nvidia.com |
| GeForce RTX 5090NVIDIA | 个人 | 32GBGDDR7 | 1.79 TB/s | 575 W | 首发建议零售价 $1,999（2025-01）；实际渠道价常更高 | 单卡 32B 级 4 位量化 + 较长上下文；个人开发首选之一 | nvidia.comnvidianews.nvidia.com |
| Mac Studio (M5 Max)Apple | 个人 | 128GBunified | 614 GB/s | 480 W (max continuous, whole system) | 美国 Apple Store 标准配置标价 $2,499 起（2026-10-21 读取） | 安静省电，适合 70B 级 4 位量化的单人推理；不适合 CUDA 训练 | apple.comapple.com |
| DGX Spark (GB10)NVIDIA厂商自述 | 个人 | 128GBLPDDR5x | 273 GB/s | 240 W PSU (GB10 TDP 140 W) | Founders Edition 建议价 2026-02 调为 $4,699；之后有更高标价的报道，待核实询价/待核实 | CUDA 生态的桌面开发机：官方称可推理 200B、微调 70B；内存带宽 273 GB/s，生成速度明显低于独显 | nvidia.comforums.developer.nvidia.com |
| Mac Studio (M5 Ultra)Apple | 工作室 | 512GBunified | 1.2 TB/s | 480 W (max continuous, whole system) | 标准配置标价最高 $6,799；256/512GB 为定制选项，价格以官网为准 | 256/512GB 统一内存，可单机装下数百 B 参数的量化 MoE；并发吞吐有限 | apple.comapple.com |
| RTX PRO 6000 Blackwell (Workstation)NVIDIA | 工作室 | 96GBGDDR7 ECC | 1.79 TB/s | 600 W | 需询价（官方页无公开价）询价/待核实 | 单卡 96GB：70B FP8 或 100B+ 4 位量化；2–4 卡工作站可做 QLoRA / 小规模全参微调 | nvidia.com |
| H100 SXM (HGX H100 ×8)NVIDIA | 团队 | 80GB × 8HBM3 | 3.35 TB/s | up to 700 W / GPU | 需询价；云上租用价见「合规商业服务」询价/待核实 | 8 卡 640GB：70B 级 BF16 服务、30–70B 全参微调；存量最多、软件最成熟 | nvidia.comdocs.nvidia.com |
| H200 SXM (HGX H200 ×8)NVIDIA | 团队 | 141GB × 8HBM3e | 4.8 TB/s | up to 700 W / GPU | 需询价询价/待核实 | 8 卡约 1.1TB：可单机 FP8 跑 600B+ 级 MoE（如 DeepSeek-V3 级） | nvidia.comdocs.nvidia.com |
| Instinct MI300X (×8 OAM)AMD | 团队 | 192GB × 8HBM3 | 5.3 TB/s | 750 W / GPU | 需询价询价/待核实 | 8 卡 1.5TB；软件栈是 ROCm，vLLM / SGLang 有 ROCm 支持，上线前要按自己的模型实测 | amd.comrocm.docs.amd.com |
| B200 SXM (HGX B200 ×8)NVIDIA | 企业 | 180GB × 8HBM3e | 8 TB/s | 待核实 | 需询价询价/待核实 | 8 卡 1.44TB；FP4/FP8 推理和中大规模训练 | nvidia.comdocs.nvidia.com |
| B300 SXM (HGX B300 ×8)NVIDIA | 企业 | 288GB × 8HBM3e | 8 TB/s | 1,100 W / GPU (Dell XE9780 config) | 需询价（未找到官方公开价）询价/待核实 | 8 卡约 2.3TB：单机 FP8 装下 1T 参数级 MoE，推理型模型长上下文；详见 B300 装机方案 | nvidia.comdocs.nvidia.comdell.com |
| Instinct MI355X (×8 OAM)AMD | 企业 | 288GB × 8HBM3E | 8 TB/s | 1,400 W TBP / GPU | 需询价询价/待核实 | 与 B300 同为 288GB/卡；HPE XD685 等机型同时提供 B300 和 MI355X 选项 | amd.combuy.hpe.com |
| GB200 NVL72 (rack)NVIDIA | 集群 | 13.4TBHBM3E | 576 TB/s | 待核实 | 需询价询价/待核实 | 72 GPU + 36 Grace 一个 NVLink 域（130 TB/s），整柜液冷 | nvidia.com |
| GB300 NVL72 (rack)NVIDIA | 集群 | 20TBHBM3e | 576 TB/s | 待核实 | 需询价询价/待核实 | 72 颗 Blackwell Ultra + 36 Grace，GPU 显存 20TB、快速内存合计 37TB；全液冷，面向超大推理与训练 | nvidia.com |
数据核对日期 2026-10-21。价格变化快；数据中心整机只接受询价。
原来分散的内容在哪
自建算力相关内容原来分散在 8 个地方。显存计算器已迁到本专区；其余页面保留，并链接回这里。