Skip to content
简体中文

切换主题

// IBM Granite · 文本大模型

ensemble-forecasting-with-ibm-granite-time-series 本地部署与显存需求

IBM发布的文本大模型模型。

发布 2026-10-01许可:模型卡未写许可显存为估算值

01规格

发布方IBM · ibm-granite
系列IBM Granite · ensemble-forecasting-with-ibm-granite-time-series
类型文本大模型
参数量官方元数据未给出
上下文长度—
许可— · 模型卡未写许可模型卡元数据没有写许可,请查看仓库文件。
发布日期2026-10-01 (Hugging Face 仓库创建日)

02需要多少显存(估算)

合计 = 权重 + 10% + 0.5GB 运行开销 + 1 个请求的 KV 缓存(FP16)。并发用户越多,KV 部分成倍增加。

无法估算:官方元数据没有给出参数量。请查看模型卡里官方测试过的硬件。

每权重比特:BF16 16、FP8 8.5、4 位 4.85。“放得下” = 合计 ≤ 显存 90%;Mac GPU 约可用统一内存的 2/3(≤36GB)或 3/4(更大机型)。MoE 模型所有专家都要进显存,按总参数算。 估算方法 →

03怎么跑

只列厂商或推理框架官方明确支持的方式。

官方模型卡未写明推理框架,请查看仓库说明。

怎么选推理引擎 →

04官方仓库与量化版

ibm-granite 官方发布的 1 个仓库。

05IBM Granite 其他模型

全部 67 个 →
模型参数4 位合计发布
granite-switch-4.1-8b8.78B7.8 GB2026-10-14
granite-switch-4.1-30b30B22.7 GB2026-10-14
granite-speech-5.0-2b2.31B2.0 GB2026-10-07
granite-speech-5.0-470m-turboctc-nc473M0.8 GB2026-08-17
granite-4.2-3b3.66B3.6 GB2026-08-07
granite-4.2-8b8.79B7.7 GB2026-08-07
granite-4.2-30b29.3B22.2 GB2026-08-07
granite-speech-5.0-470m-turboctc473M0.8 GB2026-08-04

06来源

数据核对于 2026-10-01。参数、上下文、许可取自官方仓库;显存为本站估算。

数据更新于:自建算力 · 开源模型(北京时间)