// 我想解决 · 开发者 / 企业 IT
📈 评估、监控 AI 质量
给提示词和 agent 建回归测试，记录 trace，发现模型悄悄变差；看公开基准时分清厂商自报和独立评测。
4 步做法3 个替代选择2 套组合 · 2 个问题核实于 2026-10-22
怎么做
- 01建黄金集：30–100 条真实问题和期望答案
- 02改提示词、换模型前跑回归（promptfoo / DeepEval）
- 03线上记录 trace、成本、延迟（Langfuse / Phoenix）
- 04看公开榜单时区分厂商自报和独立评测
要花多少钱
免费起步
主要工具均开源可自建
团队 / 企业
托管版按 trace 量计费，以官网为准
按量
LLM 评审会产生额外模型调用费
替代选择：怎么挑
✓ 适合
- LLM 功能已上线或要上线
✗ 不适合
- 原型阶段
推荐软件组合
全部组合推荐软件
全部软件常见问题与解法
全部问题这个场景里的需求
-
DEV-04评估与回归、模型悄悄降级
开发者 · 常见搜索：claude 降智 怎么判断；大模型 评测 工具；模型 回归测试
-
DEV-12可观测：多 agent 看不见、MCP 无日志
开发者 · 常见搜索：agent 调用 链路 追踪；langfuse 自托管
-
DEV-02AI 生成代码难验证、审查负担重
开发者 · 常见搜索：AI 写的代码 怎么审查；AI 代码审查 工具
-
ENT-01选“控制面”：网关、可观测、安全、身份
企业 IT · 常见搜索：企业 AI 网关 选型；大模型 可观测 平台 对比
学习资源
全部教程- OpenAI Evals 指南
OpenAI · 评测 · 英文
OpenAI 模型评测官方指南。
- Anthropic: Define success criteria and build evaluations
Anthropic · 评测 · 英文
Claude 文档：制定成功标准与构建评测。
- Hugging Face Evaluation Guidebook
Hugging Face · 评测 · 英文
LLM 评测实践指南。
- lm-evaluation-harness
EleutherAI · 评测 · 英文
最常用的 LLM 基准评测框架。
- OpenCompass 文档
上海 AI 实验室 · 评测 · 中英
司南 OpenCompass 大模型评测体系中文文档。
- Evaluating and Debugging Generative AI
DeepLearning.AI / W&B · 评测 · 英文
生成式 AI 评测与调试短课。
- Hamel Husain: Your AI Product Needs Evals
Hamel Husain · 评测 · 英文
LLM 产品评测方法的经典实践文章。
- Inspect AI 文档
UK AI Security Institute · 评测 · 英文
英国 AISI 开源 LLM 评测框架文档。
- promptfoo 文档
promptfoo · 评测 · 英文
开源提示与模型评测、红队测试工具文档。
- Evaluating AI Agents
DeepLearning.AI · 评测 · 英文
Agent 评测短课：追踪、组件级评测、LLM-as-judge 与迭代改进。