// 怎么做 · 评估、监控 AI 质量
自建大模型可观测：记录每次调用和 agent 的 trace
把每次模型调用、工具调用的输入输出、耗时和 token 记录成 trace，出问题时才能复盘。开源方案可以自托管，数据不出内网。
核实于 2026-10-102 个官方来源
现象
- 多 agent、多步骤任务出错后不知道哪一步出了问题
- 不知道哪个功能最耗 token
常见原因
- 只记录了最终结果，没有中间步骤
- 各服务日志格式不一，无法串起来
解决步骤
- 选择自托管平台：Langfuse（官方提供 Docker Compose 等部署方式）、Arize Phoenix 等
- 在应用里接入其 SDK，或用 OpenLLMetry 等基于 OpenTelemetry 的埋点
- 尽量遵循 OpenTelemetry GenAI 语义约定，方便以后换后端
- 已有 OpenTelemetry 体系的团队可以经 Collector 统一转发
- 注意 trace 里可能包含用户数据和密钥，设置脱敏和保留期限
官方参考
2026-10-10 根据官方文档和公开讨论整理，尚未在本站环境复现；与官方文档不一致时以官方为准。