我的显存/内存能跑多大的模型

现象

• 模型下载后加载失败、速度极慢，或系统开始大量使用内存交换

常见原因

• 模型权重加上下文超过了可用显存（Apple 芯片为统一内存）
• 上下文开得太长，KV cache 占用随长度增长

解决步骤

1. 先按 4 位量化估算：7–8B 约 5 GB，14B 约 9 GB，32B 约 20 GB，70B 约 40 GB 以上（只是量级，具体看模型和量化方式）
2. 给上下文和系统留出余量：显存 8 GB 适合 7–8B，16 GB 可以考虑 14B，24 GB 可以试 32B 的 4 位量化
3. Mac 用户可用统一内存的大部分，但不能全部；MLX（mlx-lm）和 llama.cpp 都支持 Apple 芯片
4. 上下文长度按需设置，不要直接开到模型上限
5. 在本站免费模型板块查看开放权重模型的参数量和许可证

注意

• 以上是经验估算，不是本站实测结果