// 报错 · 在本机跑模型
vLLM 启动时报 CUDA out of memory
vLLM 启动时会按设定比例预先占用显存，并为最大上下文长度预留 KV cache。模型加上下文放不下时会直接报显存不足。
核实于 2026-10-101 个官方来源
现象
- 启动日志出现
CUDA out of memory或提示 KV cache 空间不足
常见原因
- 最大上下文长度默认取模型上限，KV cache 需求过大
- 显存被其他进程占用
- 模型未量化，权重本身就超出单卡显存
解决步骤
- 用
--max-model-len把最大上下文调到实际需要的长度 - 用
--gpu-memory-utilization调整预占比例（例如在显卡被其他进程共用时调低） - 多卡时用
--tensor-parallel-size把模型切分到多张卡 - 改用量化版本的模型（如 AWQ、GPTQ、FP8，取决于硬件支持）
- 用
nvidia-smi确认没有其他进程占用显存
官方参考
2026-10-10 根据官方文档和公开讨论整理，尚未在本站环境复现；与官方文档不一致时以官方为准。