// AI 新闻 · 2026-11-01 · Dev.to LLM
VIDRAFT POCKET 实现无 GPU 运行 35B 至 180B 大模型
VIDRAFT POCKET 在2026年11月1日数据显示，其三个旗舰模型在Hugging Face平台30天内获得111.3万次下载，累计达315.5万次。该系列基于GGUF格式的模型支持在无GPU的PC、笔记本及手机设备上运行，通过标准llama.cpp等工具实现，无需定制编译或云端依赖。模型采用稀疏混合专家架构，使35B和180B规模的模型可在CPU上达到可接受生成速度。
原文发布 2026-11-01 10:12（北京时间）来源 Dev.to LLM自动整理 · 已核对原文
01摘要
在MacBook M3 Pro（18GB内存）测试中，POCKET-35B IQ1_M生成速率达27.0 tok/s，是Bonsai-27B的2.69倍；POCKET-Darwin-180B在128GB RAM的迷你PC上可运行，测得4.17 tok/s。性能优势源于稀疏架构仅激活部分网络权重，有效降低CPU内存带宽压力。所有性能数据均来自实际设备测试，未做估算，且明确标注未测量项。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- POCKET系列模型可在无GPU的PC、笔记本及手机上运行，依赖标准llama.cpp等开源工具。
- 采用稀疏混合专家架构，使35B至180B模型在CPU上实现实用生成速度。
- POCKET-35B在M3 Pro CPU上测得27.0 tok/s，POCKET-Darwin-180B在128GB RAM设备上达4.17 tok/s。
- 所有性能数据来自实际硬件测试，明确标注未测量项，确保可复现性。
03原文出处
Run a 35B to 180B LLM Without a GPU: VIDRAFT POCKET Passes 3.15 Million Downloads
Dev.to LLM · 发布于 2026-11-01 10:12（北京时间） · 上方为原标题
另有 1 家报道
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-11-01 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日