Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 在本地跑模型

llama-cpp-pythonv0.3.36-hip-radeon

llama.cpp 的 Python 绑定与 OpenAI 兼容服务

开源 维护中 开发者

官网 ↗ GitHub ↗

一段话结论

llama-cpp-python 是llama.cpp 的 Python 绑定与 OpenAI 兼容服务。

适合：想在本地跑模型的开发者和团队。

要点：开源大库收录：llama.cpp 的 Python 绑定与 OpenAI 兼容服务

01怎么开始

  1. 1先看官方快速上手（上方按钮）。
  2. 2从官方包管理器安装： pip install llama-cpp-python
  3. 3先拿一个小例子跑通，再接进项目。

PyPI: llama-cpp-python

02替代品与对比

并排对比 →
Ollama 本地一键运行开放权重大模型 ★ 184k llama.cpp 812 名提交者；--jinja 模板与工具调用兼容 ★ 132k vllm 高吞吐 LLM 推理与服务引擎 ★ 95k cherry-studio 多模型桌面 AI 客户端 ★ 53k LocalAI OpenAI 兼容的本地推理服务 ★ 50k

03相关

版本历史 · 收录依据 · 给 AI 读

最近版本

给 AI 读

数据更新于：AI 软件库与热度 · 软件档案 / 需求（北京时间）