// AI 新闻 · 2026-11-01 · Dev.to AI
重新测试MoE离线实验发现结果变化
作者在原有16GB GPU环境下，对五种大模型进行重复基准测试，统一采用Q4_K_M量化并改进实验方法。原测试中传统分层离线在部分模型上表现更优，但新测试显示选择性专家离线在Qwen和LFM上提速，Phi-3.5则相反。测试过程增加预热、三轮重复测量与交错运行，采用中位数生成速度作为结果指标，提升数据可靠性。
原文发布 2026-11-01 03:33（北京时间）来源 Dev.to AI自动整理 · 已核对原文
01摘要
在512-token长序列测试中，Qwen3.5-35B在Q4_K_M量化下选择性离线比传统分层快29.5%。该结果表明量化水平对MoE离线策略性能有显著影响，且在相同推理引擎和模型版本下对比更具说服力，说明量化与架构协同作用可能决定离线策略的有效性。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- 五种模型统一使用Q4_K_M量化，提升实验可比性
- 采用预热、三轮重复测量及交错运行，降低环境噪声干扰
- Qwen3.5-35B在Q4_K_M下选择性离线提速29.5%，显著优于原结果
- 量化差异对MoE策略性能影响明显，尤其在长序列推理中显现
03原文出处
I Retested My MoE Offloading Benchmarks. Some of My Conclusions Changed.
Dev.to AI · 发布于 2026-11-01 03:33（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-01 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日