Skip to content
简体中文

切换主题

// 报错 · 在本机跑模型

llama.cpp 输出乱码、角色混乱或不调用工具

对话模板(chat template)决定了消息怎样拼成模型训练时见过的格式。模板不对时,模型会输出奇怪的标记、自问自答,或者不按格式调用工具。

核实于 2026-10-101 个官方来源

场景:在本机跑模型 →

🖥️自建算力自建算力专区:判断 → 选型 → 装机 → 运维,含计算器→

现象

  • 回答里出现 <|im_start|> 之类的特殊标记
  • 模型从不调用工具,或工具调用格式错误

常见原因

  • 服务端没有使用模型自带的模板
  • GGUF 文件里的模板过旧或缺失

解决步骤

  1. 用 llama-server 启动时加上 --jinja,使用 GGUF 内嵌的 Jinja 模板(工具调用通常依赖它)
  2. 模板有问题时用 --chat-template-file 指定从模型官方仓库取得的模板文件
  3. 换用模型发布方或可信量化者提供的较新 GGUF 文件
  4. LM Studio 等图形客户端可在模型设置里检查和替换提示模板

官方参考

2026-10-10 根据官方文档和公开讨论整理,尚未在本站环境复现;与官方文档不一致时以官方为准。

数据更新于:常见问题 / 报错