🖥️ 在本机跑模型

怎么做

1. 01用显存计算器查能跑多大的模型和量化
2. 02新手装 LM Studio 或 Ollama，先跑 4–8B 的模型
3. 03加 Open WebUI 做网页界面
4. 04上下文被截断时调大上下文长度设置
5. 05多人或生产使用换 vLLM / SGLang

要花多少钱

价格会变，以官方页面为准。订阅套餐对比 · API 价格

替代选择：怎么挑

🖥️ 本地推理与推理引擎

还有 58 款，按类别查看 →

• 怎么选我的显存/内存能跑多大的模型粗略估算：模型权重占用 ≈ 参数量 × 每个参数的位数 ÷ 8，再加上上下文（KV cache）和运行时开销。4 位量化时，每 10 亿参数大约需要 0.5–0.7 GB。
• 报错Ollama 长文档被截断、模型“忘记”前文Ollama 默认的上下文长度比很多模型支持的上限小得多（默认值随版本变化）。输入超过上下文长度时，前面的内容会被丢掉。
• 报错llama.cpp 输出乱码、角色混乱或不调用工具对话模板（chat template）决定了消息怎样拼成模型训练时见过的格式。模板不对时，模型会输出奇怪的标记、自问自答，或者不按格式调用工具。
• 报错vLLM 启动时报 CUDA out of memoryvLLM 启动时会按设定比例预先占用显存，并为最大上下文长度预留 KV cache。模型加上下文放不下时会直接报显存不足。
• 怎么做在自己电脑上搭一个“私有版 ChatGPT”（Ollama + Open WebUI）用 Ollama 在本机运行开放权重模型，再用 Open WebUI 提供类似 ChatGPT 的网页界面，对话和文件都不出本机。

这个场景里的需求

• DEV-08本地运行：显存与硬件匹配、参数配置地狱

  开发者 · 常见搜索：16G 显存 能跑什么模型；ollama 参数 怎么设；Mac M4 跑 大模型

• IND-03我的硬件能跑什么

  个人开发者与研究者 · 常见搜索：8G 显存 能跑 什么 模型；mac mini 跑 大模型

• IND-05低价 GPU 比价

  个人开发者与研究者 · 常见搜索：4090 租用 价格；autodl 对比

• 魔搭社区 文档中心

  阿里魔搭社区 · 微调与训练 · 中文

  ModelScope 官方文档：模型下载、推理、微调、Notebook。

• ms-swift 微调框架文档

  阿里魔搭社区 · 微调与训练 · 中文

  ms-swift 大模型微调与部署框架官方文档与最佳实践。

• LLaMA-Factory 文档

  hiyouga · 微调与训练 · 中文

  LLaMA-Factory 中文官方文档。

• self-llm 开源大模型食用指南

  Datawhale · 微调与训练 · 中文

  国内外开源大模型的环境配置、部署与 LoRA 微调中文教程。

• post-training-of-llms 中文整理

  Datawhale · 微调与训练 · 中文

  大模型后训练（SFT/DPO/RL）中文学习资料。

• handy-ollama 动手学 Ollama

  Datawhale · 推理部署 · 中文

  Ollama 本地部署大模型中文教程。

• llm-deploy 大模型推理部署

  Datawhale · 推理部署 · 中文

  大模型推理与部署理论和实践中文教程。

• 昇腾社区 学习资源

  华为昇腾 · 算力与系统 · 中文

  昇腾 AI 课程与开发者学习资源。

• CMU 10-414/714 Deep Learning Systems

  CMU · 算力与系统 · 英文

  CMU 深度学习系统课：从零实现自动微分与深度学习框架。

• Hugging Face TRL 文档

  Hugging Face · 微调与训练 · 英文

  SFT、DPO、GRPO 等后训练方法库文档。

官方参考

• Ollama 快速开始 ↗
• Open WebUI 快速开始 ↗

2026-10-22 根据官方文档整理，尚未在本站环境复现；与官方文档不一致时以官方为准。