第 1 步 · 要不要自建
自建、租用还是调用 API？
买任何东西之前先看这一步。多数团队应该先用 API，把稳定负载挪到租用的 GPU，只有在利用率高且可预期、或数据不能出域时才买硬件。
| API | 云 GPU 租用 | 自建 | |
|---|---|---|---|
| 前期投入 | 无 | 无 | 硬件 + 机房 |
| 边际成本 | 按 token | 按卡时（空闲也付钱） | 电费 + 运维；闲置照样折旧 |
| 数据控制 | 数据发给服务商 | 你的实例、别人的机房 | 完全自己掌控 |
| 模型选择 | 服务商提供什么用什么 | 任意开放权重模型 | 任意开放权重模型 |
| 微调 | 有限（厂商微调接口） | 完全可控 | 完全可控 |
| 扩容 | 即时（受限流） | 分钟到数天（看库存） | 数周到数月（采购、供电） |
| 运维负担 | 无 | 只管软件 | 硬件、网络、机房、软件全包 |
| 适合 | 用量小或波动大；要用闭源前沿模型 | 集中训练、实验、需求不确定 | 高且稳定的利用率、数据不能出域、长期微调 |
判断要点
- 利用率决定一切：只用到 20% 的硬件通常比租用或 API 更贵。先量清楚真实 token 量（现有 API 账单就是好数据）。
- 同类比较：拿你能自建的开放权重模型（如 DeepSeek、Qwen、GLM、Kimi）跟同一模型的 API 价比，不要拿闭源前沿模型比。
- 吞吐必须实测，不能抄规格表：token/s 取决于推理引擎、批大小、上下文长度和量化方式。
- 隐性成本：人力、备件、网络设备、机柜、散热，以及新一代 GPU 让手里硬件两年内贬值一半的风险。
- 混合很常见：稳定的基础负载自建，高峰时溢出到 API 或租用 GPU。
盈亏平衡计算器
—API 每月（$）
—云 GPU 每月（$）
—自建每月（$，含折旧）
算法：API = token 量 × 综合单价；云 GPU = 单价 × 卡数 × 小时；自建 = 硬件 ÷ 折旧月数 + 功耗 × PUE × 730 小时 × 电价 + 托管运维，再乘以按实测吞吐和利用率算出的所需台数。API 预设来自本站模型价格表（开放权重模型的官方价，2026-10-22 更新）；云 GPU 默认 $2.69/小时是「合规商业服务」页转述的 RunPod H100 社区云价格。硬件价、功耗、吞吐的默认值只是示例，请换成你的报价和实测结果。未计入：人力、融资成本、残值、税费。 模型价格表 → · GPU 算力租赁 →
在哪里租 GPU / 托管推理
摘自本站「合规商业服务」目录。价格来自服务商页面或第三方转述，下单前请再核对。
| 服务商 | 类型 | 价格说明 |
|---|---|---|
| RunPod | GPU 算力租赁 | H100 SXM $2.69（社区）/$3.29（安全）每小时（官网定价页，第三方转述） |
| Lambda | GPU 算力租赁 | 单卡 H100 SXM $4.29/h，8 卡 $3.99/GPU·h（第三方对比） |
| Vast.ai | GPU 算力租赁 | 竞价；H100 SXM 约 $1.73 起、中位 $2.16/h（2026-09 第三方） |
| CoreWeave | GPU 算力租赁 | 企业报价 |
| Modal | GPU 算力租赁 | 按秒计费；$30/月免费额度（首页） |
| Hyperbolic | GPU 算力租赁 | 按量 |
| AutoDL | GPU 算力租赁 | 4090 约 ¥1.88/h（2026-10-09 第三方监测） |
| 恒源云 | GPU 算力租赁 | 4090 约 ¥1.85/h（第三方监测） |
| 矩池云 | GPU 算力租赁 | 4090 ¥1.54/GPU·h 起（首页） |
| Featurize | GPU 算力租赁 | 4090 ¥1.87/h 起（首页） |
| GpuGeek | GPU 算力租赁 | 4090 约 ¥2–3/h（第三方） |
| Together AI | 推理部署托管 | 按 token/按 GPU |
| Fireworks AI | 推理部署托管 | 按 token（首页示例 $3/M 入、$15/M 出） |
| Replicate（已被 Cloudflare 收购） | 推理部署托管 | 按秒计费（T4 $0.000225/s 等，首页） |
| Baseten | 推理部署托管 | 按用量/专属 |
| Groq | 推理部署托管 | 按 token |
| Cerebras | 推理部署托管 | 按 token |
| DeepInfra | 推理部署托管 | 按 token（首页示例 $0.834/M 入） |
| Novita AI | 推理部署托管 | 按 token（首页示例 DeepSeek V4 Pro $1.74/$3.48 每百万） |
| Hugging Face Inference Providers | 推理部署托管 | 按上游计费 |
| 硅基流动 SiliconFlow | 推理部署托管 | 按 token |
| PPIO 派欧云 | 推理部署托管 | 4090 Spot ¥1.16/h、H100 ¥11.88/h（首页） |
| 无问芯穹 | 推理部署托管 | 企业报价 |