// 在本地跑模型
DeepInfer（DeepSeek 官方开源推理框架）
DeepSeek 线上大规模服务所用推理框架的开源版（2026-10-16 建仓，一周 1.8 万星）：目前只支持 DeepSeek-V4.1-Flash，提供离线推理和规模化部署的核心能力——FlashMLA / DeepGEMM / DeepEP 等自研算子、Attention DP + MoE EP/EPLB 并行、草稿 token 加速解码（DSpark）、异步调度、批次不变与确定性采样、结构化输出。硬件限 NVIDIA SM100（Blackwell）和华为昇腾 950；完整在线服务所需的 KV 缓存系统、预填充/解码分离和负载均衡不在本次开源范围内
开源 维护中 开发者
一段话结论
DeepInfer（DeepSeek 官方开源推理框架） 是DeepSeek 线上大规模服务所用推理框架的开源版（2026-10-16 建仓，一周 1.8 万星）：目前只支持 DeepSeek-V4.1-Flash，提供离线推理和规模化部署的核心能力——FlashMLA / DeepGEMM / DeepEP 等自研算子、Attention DP + MoE EP/EPLB 并行、草稿 token 加速解码（DSpark）、异步调度、批次不变与确定性采样、结构化输出。硬件限 NVIDIA SM100（Blackwell）和华为昇腾 950；完整在线服务所需的 KV 缓存系统、预填充/解码分离和负载均衡不在本次开源范围内。
适合：想在本地跑模型的开发者和团队。
01怎么开始
- 1先看官方快速上手（上方按钮）。
- 2按官方说明安装或注册。
- 3先拿一个小例子跑通，再接进项目。
02替代品与对比
并排对比 →03相关
版本历史 · 收录依据 · 给 AI 读
给 AI 读
- 调用方式：自身应用或网页
- 机器可读档案：/api/v1/software/deepinfer.json · llms.txt
- 收录于 2026-10-22 · 更新于 2026-10-23