Qwen2.5-7B-Instruct 本地部署与显存需求

合计 = 权重 + 10% + 0.5GB 运行开销 + 1 个请求的 KV 缓存（FP16）。并发用户越多，KV 部分成倍增加。

每权重比特：BF16 16、FP8 8.5、4 位 4.85。“放得下” = 合计 ≤ 显存 90%；Mac GPU 约可用统一内存的 2/3（≤36GB）或 3/4（更大机型）。MoE 模型所有专家都要进显存，按总参数算。 估算方法 →

只列厂商或推理框架官方明确支持的方式。

• vLLM — 官方模型卡提及
• Transformers — 官方模型卡提及
• llama.cpp — 官方提供 GGUF 权重
• Ollama — Ollama 官方模型库收录 · qwen2.5:7b

ollama run qwen2.5:7b

怎么选推理引擎 →

Qwen 官方发布的 6 个仓库。

• Qwen2.5-7B-Instruct Instruct
• Qwen2.5-7B-Instruct-AWQ Instruct/AWQ
• Qwen2.5-7B main
• Qwen2.5-7B-Instruct-GPTQ-Int4 Instruct/GPTQ/INT4
• Qwen2.5-7B-Instruct-GGUF Instruct/GGUF
• Qwen2.5-7B-Instruct-GPTQ-Int8 Instruct/GPTQ/INT8

• Hugging Face · Qwen/Qwen2.5-7B-Instruct
• config.json
• License
• Ollama library · qwen2.5

数据核对于 2025-01-12。参数、上下文、许可取自官方仓库；显存为本站估算。