// 在本地跑模型
llm-dv0.10
Kubernetes 原生分布式推理
开源 维护中 开发者
一段话结论
llm-d 是Kubernetes 原生分布式推理。
适合：想在本地跑模型的开发者和团队。
要点：Red Hat AI Inference 配合 llm-d
01怎么开始
- 1先看官方快速上手（上方按钮）。
- 2按官方说明安装或注册。
- 3先拿一个小例子跑通，再接进项目。
// 在本地跑模型
Kubernetes 原生分布式推理
开源 维护中 开发者
一段话结论
llm-d 是Kubernetes 原生分布式推理。
适合：想在本地跑模型的开发者和团队。
要点：Red Hat AI Inference 配合 llm-d
数据更新于：AI 软件库与热度 · 软件档案 / 需求（北京时间）