// AI 新闻 · 2026-11-11 · PyTorch Blog
Meta在TPU v7上优化Muse Spark Open模型推理
Meta在其单个TPU v7主机（含四芯片）上部署了816B参数的Muse Spark Open混合专家模型，采用SGLang与TorchTPU后端运行。核心为一个megakernel，将62层解码或验证步骤整合为单一Pallas程序，并通过流水线方式处理权重加载、KV读取及跨设备传输。其余优化包括更高效的解码流程、每芯片更高的KV缓存容量以及更快的预填充阶段。
原文发布 2026-11-11 00:45（北京时间）来源 PyTorch Blog自动整理 · 已核对原文
01摘要
该方案在单请求输出token速度上实现显著提升，尤其在并发数为1至2时效果明显；验证步骤耗时接近仅从HBM加载权重的时间。基于SemiAnalysis的AgentX基准测试，在1M上下文场景下，每芯片吞吐量从6,101提升至25,906 tokens/s，p90响应时间控制在47秒以内，且所有TPU节点均满足该延迟要求。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- Muse Spark Open模型以816B总参数、每token约42B活跃参数运行于单个TPU v7四芯片主机上。
- 通过megakernel将62层解码流程整合为一个Pallas程序，实现权重加载与KV操作的流水线并行。
- 采用NVFP4格式的4位专家权重，并结合L2 HiCache和序列通道KV布局提升缓存效率。
- 在1M上下文AgentX基准中，每芯片输出token速率从6,101提升至25,906，p90响应时间稳定在47秒内。
03原文出处
Optimizing Muse Spark Open on TPU v7 with SGLang-TorchTPU
PyTorch Blog · 发布于 2026-11-11 00:45（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-11 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日