// AI 新闻 · 2026-10-31 · NVIDIA
NVIDIA 推出 AICR 验证 Kubernetes 上 Dynamo 运行时
NVIDIA 通过其 AI Cluster Runtime (AICR) 将 Dynamo 及其依赖基础设施打包为可复现的验证配置,实现 Kubernetes 上分布式推理框架的标准化部署。AICR 定义了 GPU 驱动栈、动态资源分配、调度策略、节点健康信号和 Prometheus 监控等关键运行时需求,并通过固定版本组件确保环境一致性。
原文发布 2026-10-31 05:35(北京时间)来源 NVIDIA自动整理 · 已核对原文
01摘要
该方案包含五步流程:快照集群、生成 Dynamo 推理配置、渲染部署包、使用 Helmfile 或 GitOps 部署运行时,最后验证运行时状态再部署应用工作负载。Dynamo 1.4.2 版本采用 TCP 实现请求平面通信,ZMQ 处理 KV 缓存事件,支持前端路由与 Gateway API Inference Extension(GAIE)/ Endpoint Picker Plugin(EPP)两种路径进行缓存感知路由,分别适用于模型特定端点和共享 Kubernetes 入口场景。
由开源模型根据原文自动整理,经数字/专名逐项核对(必须在原文中出现),以原文为准。
02要点
- AICR 将 Dynamo 及其依赖组件打包为可复现、验证的配置,确保运行时环境一致性。
- Dynamo 1.4.2 使用 TCP 和 ZMQ 实现请求与 KV 缓存事件通信,支持两种路由路径进行缓存感知决策。
- AICR 提供五步部署流程,涵盖集群快照、配置生成、部署与验证,实现运行时标准化。
- 运行时配置包含 GPU 驱动栈、动态资源分配、调度策略、节点健康信号和 Prometheus 监控等关键要求。
03原文出处
Build a Validated Kubernetes Runtime for NVIDIA Dynamo
NVIDIA · 发布于 2026-10-31 05:35(北京时间) · 上方为原标题
05相关新闻
出自智图 AI 新闻:从 1100 多个官方与媒体信源采集。摘要只转述原文内容,详情请看原文。 2026-10-31 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日