// 我想解决 · 企业 IT / 中小团队与业务
🏢 企业私有化部署大模型和知识库
在公司内网或私有云部署对话、知识库和 agent 平台：选模型和推理引擎、算硬件、做权限和审计，并对照国内合规要求。
6 步做法5 个替代选择4 套组合 · 2 个问题核实于 2026-10-22
怎么做
- 01先分级数据：哪些可以用公有云 API（签企业协议、不训练），哪些必须私有化
- 02选模型：用本站“按任务选模型”和开放权重模型列表挑 2–3 个候选，在自己的业务题上测
- 03算硬件：用显存计算器和自建算力指南估算 GPU；生产推理用 vLLM 或 SGLang，试点可用 Ollama
- 04上层平台：对话用 Open WebUI / LibreChat，知识库和应用用 Dify / RAGFlow / FastGPT / MaxKB；接公司 SSO
- 05所有调用经 LiteLLM 网关，按部门设预算；Langfuse 记录审计日志；上线前做提示注入和越权测试
- 06在中国大陆对公众提供生成式 AI 服务，需按规定完成备案/登记；仅内部使用也要按公司合规要求评估
要花多少钱
试点
一台带 24–48GB 显存的工作站 + 开源软件即可验证（具体型号见自建算力）
部门级
多卡服务器或云 GPU 按小时租用；软件开源，人力运维是主要成本
全公司
需要高可用集群、网关和审计；与公有云企业版的总成本对比后再决定
替代选择：怎么挑
| 选择 | 什么时候选它 |
|---|---|
| Dify | 快速搭知识库问答和 AI 应用，可视化编排 |
| RAGFlow | 文档复杂（表格、扫描件），重视解析质量 |
| FastGPT / MaxKB | 中文社区活跃、国内部署案例多 |
| Open WebUI / LibreChat | 只需要一个统一的内部对话入口 |
| 公有云企业版（ChatGPT Enterprise、Gemini for Workspace 等） | 数据可出境且不想运维 |
✓ 适合
- 数据敏感、需要内网、需要审计和成本分摊的企业
✗ 不适合
- 人少、没有运维人员：先用公有云企业版
推荐软件组合
全部组合推荐软件
全部软件 dify 工作流与 agent 平台1.17.1 ★ 159k LLM 应用开发平台（源码可得许可） 开源 API ragflow 文档解析与网页抓取nightly ★ 93k 基于深度文档理解的 RAG 引擎 开源 API fastgpt 工作流与 agent 平台 ★ 30k 国内知识库/工作流 开源 maxkb 工作流与 agent 平台 ★ 23k 国内知识库 开源 open-webui AI 应用与对话客户端v0.11.4 ★ 156k 自托管 AI 对话界面 开源 API LibreChat AI 应用与对话客户端chart-2.0.17 ★ 46k 多模型统一对话平台 开源 API vllm 本地推理与推理引擎v0.31.0 ★ 95k 高吞吐 LLM 推理与服务引擎 开源 APICLI sglang 本地推理与推理引擎v0.5.21 ★ 38k 高性能 LLM/VLM 服务框架 开源 API Ollama 本地推理与推理引擎v0.40.8 ★ 184k 本地一键运行开放权重大模型 开源 CLIAPI litellm 模型网关、路由与用量v1.104.2 ★ 62k 统一调用 100+ LLM 的 SDK 与代理网关 开源 SDKAPI langfuse 可观测与 tracev4.56.0 ★ 36k LLM 工程可观测、评估与提示管理 开源 SDKAPI milvus 检索、向量库与嵌入v3.0.3 ★ 46k 云原生向量数据库 开源 APISDK MinerU 文档解析与网页抓取mineru-4.0.11-released ★ 82k PDF 转 Markdown/JSON 高精度解析 开源 CLIAPI
常见问题与解法
全部问题这个场景里的需求
-
ENT-02企业准入：认证、驻留、SSO/SCIM、SLA、退出条款
企业 IT · 常见搜索：langfuse soc2；某产品 数据 存储 地区
-
ENT-04TCO 透明、驻留矩阵
企业 IT · 常见搜索：AI 可观测 成本；按调用 计费 估算
-
ENT-05中国合规：备案、信创、整包招标
企业 IT · 常见搜索：生成式人工智能 备案 查询；信创 大模型 适配；大模型 一体机
-
ENT-01选“控制面”：网关、可观测、安全、身份
企业 IT · 常见搜索：企业 AI 网关 选型；大模型 可观测 平台 对比
官方参考
2026-10-22 根据官方文档整理，尚未在本站环境复现；与官方文档不一致时以官方为准。