// 报错 · 在本机跑模型
llama.cpp 输出乱码、角色混乱或不调用工具
对话模板(chat template)决定了消息怎样拼成模型训练时见过的格式。模板不对时,模型会输出奇怪的标记、自问自答,或者不按格式调用工具。
核实于 2026-10-101 个官方来源
现象
- 回答里出现
<|im_start|>之类的特殊标记 - 模型从不调用工具,或工具调用格式错误
常见原因
- 服务端没有使用模型自带的模板
- GGUF 文件里的模板过旧或缺失
解决步骤
- 用
llama-server启动时加上--jinja,使用 GGUF 内嵌的 Jinja 模板(工具调用通常依赖它) - 模板有问题时用
--chat-template-file指定从模型官方仓库取得的模板文件 - 换用模型发布方或可信量化者提供的较新 GGUF 文件
- LM Studio 等图形客户端可在模型设置里检查和替换提示模板
官方参考
2026-10-10 根据官方文档和公开讨论整理,尚未在本站环境复现;与官方文档不一致时以官方为准。