// 怎么做 · 评估、监控 AI 质量
怎么发现模型或提示词改动后效果悄悄变差
给提示词和 agent 建一套固定的回归测试，像单元测试一样在每次改动和每次换模型前后运行。
核实于 2026-10-101 个官方来源
现象
- 换了模型版本或改了提示词后，用户反馈变差，但说不清哪里差
- 感觉服务商的模型“降智”了却没有证据
常见原因
- 没有固定测试集，只凭感觉判断
解决步骤
- 从真实使用中收集 50–200 个有代表性的输入，写出期望输出或判断标准
- 用 promptfoo、DeepEval 或 Inspect 定义测试：精确匹配、包含关键词、JSON 结构校验、LLM 评分等
- 把评测放进 CI，改提示词或换模型时自动对比通过率
- 定期（例如每周）对线上使用的模型跑同一套测试，保留历史结果，用数据判断是否降级
- 公开基准只能参考，最终以自己任务上的结果为准
官方参考
2026-10-10 根据官方文档和公开讨论整理，尚未在本站环境复现；与官方文档不一致时以官方为准。