Skip to content
简体中文

切换主题

发现▾

不知道从哪开始？本周最热的软件、模型和组合，3 分钟看完 AI 圈的变化。

AI 软件▾

给人用的 AI 软件：从 ChatGPT 这类助手，到写代码、做视频、搭工作流的工具，按用途挑。

Agent 工具▾

给 AI 用的软件：让你的 agent（Claude Code、Codex、Cursor…）能上网、读文档、跑代码、记住事情。

模型▾

选模型、算成本、自己部署：价格、榜单、评测、免费额度和自建算力都在这里。

解决方案▾

有具体目标或报错？按场景给出现成的软件组合、步骤和问题解法。

学 AI▾

一套从零到前沿的系统课程，配算法库、必读论文和精选教程。

前沿▾

每天的 AI 新闻、每周热点、最新论文和 AI 改造各学科的进度。

// 推理引擎与本地运行

google-ai-edge/LiteRT-LM

谷歌在边缘设备上部署大模型的推理框架

官方 · Google AI EdgeApache-2.0维护中

GitHub ↗官网 ↗

01最近发版

02同类

全部仓库 →
ggml-org/llama.cpp C/C++ 实现的大模型本地推理引擎 推理引擎与本地运行 · 官方★ 132k vllm-project/vllm 高吞吐 LLM 推理与服务引擎 推理引擎与本地运行 · 官方★ 94.9k mudler/LocalAI OpenAI 兼容的本地推理服务 推理引擎与本地运行★ 49.8k exo-explore/exo 把多台设备组成 AI 集群推理 推理引擎与本地运行★ 48.0k ray-project/ray 分布式计算与 AI 应用框架 推理引擎与本地运行★ 44.1k

数据更新于：GitHub 开源雷达（北京时间）