// AI 新闻 · 2026-10-31 · NVIDIA
NVIDIA 推出 TensorRT Edge-LLM 支持边缘设备 AI 开发
NVIDIA 在其技术博客中介绍，通过 NVIDIA DGX Spark 64GB 平台，开发者可使用 TensorRT Edge-LLM 快速启动嵌入式设备上的 AI 模型开发。该工具提供轻量级 C++ 推理运行时，支持在 DGX Spark 上开发并部署至 Jetson Thor、DRIVE AGX Thor 和 IGX Thor 等边缘平台。
原文发布 2026-10-31 04:33（北京时间）来源 NVIDIA自动整理 · 已核对原文
01摘要
用户可通过 trtedge 命令行工具下载模型并构建优化的 TensorRT 引擎，在几条命令内启动 Nemotron-3.5 Lightning 模型进行对话测试，并通过本地 OpenAI 兼容 API 提供服务。启用 DSpark 三令牌推测解码后，生成速度从每秒 73.4 增至 126.9 个 token，峰值内存使用保持在 27.9GB 不变，满足边缘场景对低延迟和高效率的诉求。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- NVIDIA DGX Spark 64GB 提供嵌入式 AI 模型原型、微调与测试平台。
- TensorRT Edge-LLM 支持在 DGX Spark 开发并部署至 Jetson Thor 等边缘设备。
- trtedge CLI 可在几条命令内下载 Nemotron-3.5 Lightning 模型并完成推理引擎构建。
- 启用 DSpark 推测解码后，生成速度提升至每秒 126.9 个 token，峰值内存维持 27.9GB。
03原文出处
Run AI Models for Edge Application Development with Just a Few Commands
NVIDIA · 发布于 2026-10-31 04:33（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-10-31 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日