怎么选 · 先看这 3 个
- · 个人上手：Ollama、LM Studio；高并发服务：vLLM、SGLang
- · 先用显存计算器确认模型放得下
83 / 83 个软件
Ollama v0.40.8 ★ 184k 本地一键运行开放权重大模型 开源 CLIAPI llama.cpp b11804 ★ 132k 812 名提交者；--jinja 模板与工具调用兼容 开源 vllm v0.31.0 ★ 95k 高吞吐 LLM 推理与服务引擎 开源 APICLI airllm ★ 40k 在 4GB 显存上推理 70B 模型。 开源 Python colibri ★ 43k 纯 C 实现，在普通硬件上跑前沿 MoE 模型。 开源 local LM Studio 0.4.26（Homebrew 当前） 图形界面的本地大模型下载与运行工具，提供 OpenAI 兼容接口。 闭源 / 商业 免费 macOSWindowsLinux ODS ★ 7.6k 把电脑变成 AI 服务器：推理、聊天 UI、语音、agent。 开源 local llmfit ★ 38k 一键找出本机硬件能跑的模型和供应商。 开源 CLI tilelang ★ 8.7k 简化高性能 GPU/CPU 内核开发的领域语言。 开源 DSL ds4 ★ 24k DeepSeek 4 Flash/PRO 本地推理引擎（Metal/CUDA/ROCm）。 开源 local omlx ★ 23k Apple Silicon 上的 LLM 推理服务器，支持连续批处理与 SSD 缓存。 开源 macOS needle ★ 14k 面向小设备的自动化基础模型（2-bit，几 MB）。 开源 embedded OpenLLM ★ 13k 把开源 LLM 变成 OpenAI 兼容 API。 开源 server osaurus ★ 8.1k 原生 macOS agent harness：任意模型、持久记忆、自主任务。 开源 macOS vllm-omni v0.30.0 ★ 7.3k 面向全模态模型的高效推理框架。 开源 server magnitude ★ 7.2k 为你的硬件自动选择最佳本地模型的推理服务器。 开源 server whichllm ★ 6.8k 根据真实硬件测试推荐本机能跑的本地 LLM。 开源 CLI cactus ★ 6.1k 手机、可穿戴设备上的量化、内核与推理引擎。 开源 mobile LightLLM ★ 4.3k Python LLM 推理与服务框架。 开源 server sie ★ 3.4k 为 agent 所需的各类模型提供的开源推理服务器。 开源 server stable-diffusion-webui v1.10.1 ★ 165k Stable Diffusion Web 界面 开源 API cherry-studio v2.1.4 ★ 53k 多模型桌面 AI 客户端 开源 App LocalAI v4.11.0 ★ 50k OpenAI 兼容的本地推理服务 开源 API exo v1.0.71 ★ 48k 把多台设备组成 AI 集群推理 开源 CLIAPI textgen v4.9 ★ 48k 本地 LLM Web 界面 开源 API BitNet ★ 41k 1-bit LLM 推理框架 开源 CLI sglang v0.5.21 ★ 38k 高性能 LLM/VLM 服务框架 开源 API mediapipe v1.1.0 ★ 37k 端侧多模态 ML 管线 开源 SDK diffusers v0.41.0 ★ 35k 扩散模型推理与训练库 开源 SDK tinygrad v0.14.0 ★ 34k 极简深度学习框架 开源 SDK mlx v0.32.3 ★ 29k Apple 芯片机器学习框架 开源 SDK llamafile 0.10.6 ★ 26k 单文件分发与运行 LLM 开源 CLIAPI flash-attention v2.8.3.post2 ★ 25k 快速显存高效注意力内核 开源 SDK ncnn 20260526 ★ 24k 腾讯移动端推理框架 开源 SDK mlc-llm v0.20.0 ★ 23k 通用 LLM 编译部署引擎 开源 APISDK onnxruntime v1.31.0 ★ 22k 跨平台 ONNX 推理引擎 开源 SDK candle 0.11.0 ★ 21k Rust 极简 ML 框架 开源 SDK ktransformers ★ 20k 消费级硬件跑大模型 开源 web-llm v0.2.86 ★ 19k 浏览器内 WebGPU 推理 开源 SDK DeepInfer（DeepSeek 官方开源推理框架） ★ 18k DeepSeek 线上大规模服务所用推理框架的开源版（2026-10-16 建仓，一周 1.8 万星）：目前只支持 DeepSeek-V4.1-Flash，提供离线推理和规模化部署的核心能力——FlashMLA / DeepGEMM / DeepEP 等自研算子、Attention DP + MoE EP/EPLB 并行、草稿 token 加速解码（DSpark）、异步调度、批次不变与确定性采样、结构化输出。硬件限 NVIDIA SM100（Blackwell）和华为昇腾 950；完整在线服务所需的 KV 缓存系统、预填充/解码分离和负载均衡不在本次开源范围内 开源 transformers.js 4.3.1 ★ 16k 浏览器/Node 中运行 Transformers 开源 SDK MNN 3.6.1 ★ 16k 阿里端侧推理引擎 开源 SDK TensorRT-LLM v1.4.0rc1 ★ 15k NVIDIA GPU 上的 LLM 推理优化 开源 SDKAPI tvm v0.27.0.post1 ★ 14k 深度学习编译器 开源 SDK TensorRT v11.4 ★ 13k NVIDIA 推理优化 SDK 开源 SDK FlashMLA ★ 13k DeepSeek MLA 解码内核 开源 SDK LMCache v0.5.6 ★ 12k LLM KV 缓存层加速 开源 SDK koboldcpp v1.122.1 ★ 12k 基于 llama.cpp 的一体化本地推理 开源 API triton-inference-server/server v2.73.0 ★ 11k NVIDIA Triton 推理服务器 开源 API openvino 2026.4.1 ★ 11k 英特尔推理优化工具包 开源 SDK llama-cpp-python v0.3.36-hip-radeon ★ 11k llama.cpp 的 Python 绑定与 OpenAI 兼容服务 开源 SDKAPI 3FS ★ 10k 面向 AI 训练推理的分布式文件系统 开源 API DeepEP v1.2.1 ★ 10k 专家并行通信库 开源 SDK inference v3.5.0 ★ 9.6k Xinference 分布式模型推理平台 开源 API mlx-examples ★ 9.0k MLX 示例（含 LLM、Whisper） 开源 CLI BentoML v1.4.39 ★ 8.9k 把模型打包为推理服务 开源 SDKAPI ai-dynamo/dynamo v1.5.0-kimi-k3-post.1 ★ 8.4k NVIDIA 分布式推理服务框架 开源 API lmdeploy v0.18.0 ★ 8.1k LLM 压缩、部署与服务工具包 开源 APICLI stable-diffusion.cpp master-987-a77d362 ★ 7.7k 纯 C/C++ 扩散模型推理 开源 CLI mlx-lm ★ 7.4k MLX LLM 推理 开源 flashinfer v0.7.2 ★ 6.7k LLM 服务注意力内核库 开源 SDK kserve v0.21.0 ★ 6.1k Kubernetes 上的模型服务 开源 API llama-swap v262 ★ 5.9k 按需切换本地模型的代理 开源 API gpustack v2.2.3 ★ 5.9k GPU 集群模型部署管理 开源 API mlx-vlm v0.7.10 ★ 5.6k 在 Mac 上用 MLX 跑视觉语言模型 开源 CLISDK lms ★ 5.4k LM Studio 命令行 开源 CLI aibrix v0.7.0 ★ 5.2k 大模型推理基础设施组件 开源 API executorch 23323 ★ 5.1k 端侧 PyTorch 推理 开源 SDK text-embeddings-inference v1.9.4 ★ 5.1k 嵌入与重排模型推理服务 开源 API llm-d v0.10 ★ 4.9k Kubernetes 原生分布式推理 开源 API exllamav2 v0.3.2 ★ 4.6k 消费级 GPU 高速量化推理 开源 SDK llm-compressor 0.10.0.4 ★ 3.9k 面向 vLLM 的模型量化压缩 开源 SDK LiteRT v2.3.0 ★ 3.5k 谷歌端侧推理运行时（原 TFLite） 开源 SDK optimum v2.3.0 ★ 3.5k Transformers 硬件加速与导出 开源 SDK ik_llama.cpp t0002 ★ 3.3k llama.cpp 性能分支 开源 CLI distributed-llama v0.16.5 ★ 3.1k 多设备分布式 LLM 推理 开源 CLI ramalama v0.25.0 ★ 3.1k 用容器运行本地 AI 模型 开源 CLI production-stack vllm-stack-0.1.13 ★ 2.7k vLLM 生产级 K8s 部署栈 开源 Helm exllamav3 v1.6.0 ★ 1.7k ExLlama 第三版 开源 SDK mlx-engine ★ 1.2k LM Studio 的 MLX 推理引擎 开源 SDK CUDA Toolkit / cuDNN CUDA 13.4.2 同上 闭源 / 商业 NVIDIA 驱动 615.78.08 驱动×CUDA×PyTorch 兼容是高频回退需求 开源 text-generation-inference v3.3.7 ★ 11k Hugging Face 文本生成推理服务 开源 API 已归档
关于这页的数据
- 默认按“推荐”排序：编辑定稿的常用在前，其余按热度；通用开发软件和已归档项目排在后面。
- 数据核实于 2026-10-22，只链官方来源。 JSON API