arXiv 2511.14102 · cs.LG · 2025-11-18

Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

Wenfeng Wang, Xiaofeng Hou, Xinfeng Xia, Xinkai Wang, Mingxuan Zhang, Peng Tang, Jiacheng Liu, Chao Li

机构待核实

一句话要点

Specter通过量化与投机解码结合，实现专家模型的高效离载推理，在单请求场景下平均提速1.5倍，显著提升内存受限GPU上MoE模型的推理效率。

Specter achieves up to 1.88x TPOT speedup via quantized speculative offloading for memory-constrained MoE inference on single GPUs.

要点

MoE模型因专家路由依赖数据而造成内存溢出和PCIe带宽瓶颈，传统离载方案通信开销大。
引入量化轻量级草案模型进行多步投机解码，预测未来专家调用，提前规划专家迁移与执行顺序。
在单请求推理中平均提速1.5倍，最高达1.88倍，显著降低通信延迟和设备内存压力。
使单GPU上内存受限的MoE模型在消费级硬件上更实用；未涉及多请求并发场景下的性能表现。

English overview

Specter introduces a quantization-enabled speculative offloading framework for MoE models, combining lightweight draft models with multi-step lookahead to predict expert usage. This enables efficient expert movement and execution planning ahead of verification, reducing I/O bottlenecks. It achieves up to 1.88x speedup in token throughput on single-GPU systems with limited memory.

只根据 arXiv 官方摘要，由开源模型整理，经数字/专名自动核对（必须在摘要中出现），以论文原文为准。

26HF 点赞

–GitHub stars

–引用（Semantic Scholar）

–热度分

阅读 arXiv 原文 PDF Hugging Face 讨论