// AI 新闻 · 2026-10-27 · NVIDIA
NVIDIA DGX Spark 上优化 Ling-3.0-flash 模型推理性能
NVIDIA 在 DGX Spark 平台上对 Ling-3.0-flash 模型进行推理性能优化，评估批次大小为 1。 profiling 显示解码过程受内存带宽限制，其中 MoE 计算与输出层投影是主要耗时环节。通过替换 FlashInfer MXFP4 MoE 后端为 Humming 内核库，每输出 token 时间从 27.71 毫秒降至 25.35 毫秒，提升 9.3% 通过率；在线 FP8 量化输出层将权重读取量减半，并与 Humming 结合使解码吞吐量提升 21.7%；利用内置 NEXTN 层的多 token 预测推测解码，在合成负载下实现每轮 3.90 个被接受 token，较基线提升 185.1%。
原文发布 2026-10-27 23:00（北京时间）来源 NVIDIA自动整理 · 已核对原文
01摘要
三项优化联合应用后，在 GSM8K 测试集上解码吞吐量提升 42.5%，平均延迟降低 24.5%，模型准确率无显著变化。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 将 FlashInfer MXFP4 MoE 后端替换为 Humming 内核，每 token 推理时间从 27.71ms 降至 25.35ms，提升 9.3%。
- 在线 FP8 量化输出层权重，使读取量减半，结合 Humming 提升解码吞吐量 21.7%。
- 使用 NEXTN 层实现多 token 预测推测解码，每轮接受 token 数达 3.90，吞吐量提升 185.1%。
- 三项优化联合后在 GSM8K 测试集上解码吞吐量提升 42.5%，平均延迟下降 24.5%。
03原文出处
3 Ways to Boost MoE Inference on NVIDIA DGX Spark
NVIDIA · 发布于 2026-10-27 23:00（北京时间） · 上方为原标题
05同主题新闻
- NVIDIA与Oracle扩展Vera Rubin至多吉瓦特规模并推出Vera CPU于OCI2026-10-28 · NVIDIA Newsroom
- NVIDIA 与 Pleias 共建法国比利时本地化人格数据集2026-10-28 · NVIDIA
- NVIDIA RTX Spark 推出 AI 渲染与智能角色技术2026-10-28 · NVIDIA
- NVIDIA 推出 GPU 分片共享方案支持 Kubernetes2026-10-28 · NVIDIA
- 英伟达RTX 5090显卡面临停产疑云2026-10-27 · IT之家
- 黑莓重塑业务：CEO看好AI机器人增长2026-10-27 · CNBC
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 全部 AI 新闻 · 今日