评测与基准
怎样评测大模型：基准测试、竞技场、Agent 测试与数据污染
进阶 20 分钟 适合: 初学者 / 开发者 / 研究者
本课要点
- ▸基准就是一组固定任务加一条打分规则；它只能衡量自己覆盖的任务，而且是在它自己的条件下。
- ▸知识推理测试（MMLU、GPQA）、编程测试（HumanEval、SWE-bench）、Agent 测试（OSWorld）和人类偏好竞技场，回答的是不同的问题。
- ▸数据污染、基准饱和、提示与 Agent 框架的差异，以及为排行榜而优化，都会让分数失真。
- ▸真正做决策时，要用自己的任务建一个小评测集，定好明确标准：能自动判的自动判，关键的地方交给人。
基准是什么，不是什么
**基准（benchmark）**就是一组固定任务加一条打分规则：选择题正确率、通过的单元测试数、完成的任务数。它告诉你一个模型（或者模型加上它的外围框架）在这些任务、这些条件下表现如何，仅此而已。要读懂排行榜，先得知道每个基准里装的是什么。
主要类别
| 类别 | 例子 | 测什么 | 要注意 |
|---|---|---|---|
| 知识与推理 | MMLU（57 个学科的选择题）、GPQA（研究生水平、“谷歌搜不到答案”的科学题）、Humanity's Last Exam | 知识广度和深度、考试式推理 | 饱和（顶级模型在 MMLU 上接近满分）、数据污染 |
| 数学 | GSM8K、MATH、竞赛题（AIME） | 多步定量推理 | 题目泄露；只看最终答案 |
| 编程 | HumanEval（164 道 Python 函数题）、SWE-bench（真实 GitHub issue，用仓库自带测试判定） | 写出正确代码；修复真实仓库 | 不同 Agent 框架得分差异很大 |
| Agent 与电脑操作 | OSWorld（369 个真实桌面任务）、τ-bench、WebArena | 在真实软件环境里完成多步任务 | 环境搭建、时间限制、不稳定的任务 |
| 人类偏好 | Chatbot Arena / LMArena | 开放式对话中人们更喜欢哪个回答 | 风格和长度偏好；选择性测试 |
| 综合评测 | HELM | 多场景、多指标（准确率、校准、鲁棒性、偏见） | 重广度轻深度 |
几个来自原始论文的参照点：SWE-bench 包含来自 12 个热门 Python 仓库的 2,294 个“issue—修复”任务（Jimenez 等，2023）；由于部分任务描述含糊或无法测试，OpenAI 与作者团队发布了由人类开发者逐一核验的 500 题 SWE-bench Verified（OpenAI，2024）。OSWorld 发表时，人类能完成 72.36% 的任务，最好的模型只完成了 12.24%（Xie 等，2024）。Agent 基准清楚地显示出，模型离可靠地操作电脑还有多远。
竞技场怎么排名
在 Chatbot Arena（Chiang 等，2024）里，用户把一个提示同时发给两个匿名模型，再投票选出更好的回答。Bradley–Terry 模型（Elo 等级分背后的统计方法）把大量两两对比的投票换算成带置信区间的分数。竞技场能反映真实用户在开放问题上的偏好，但偏好也会奖励风格、排版和长度；The Leaderboard Illusion（Singh 等，2025）等分析认为，发布前的私下测试和不均衡的抽样会扭曲排名。
分数为什么会误导
- 数据污染：测试题混进了网络规模的训练数据，背题让分数虚高。
- 饱和：顶级模型都考到 90% 以上之后，基准就分不出高下了，于是出现了更难的新题集（GPQA、Humanity's Last Exam）。
- 设置差异：提示方式、尝试次数（pass@1 还是 pass@k）、能否用工具、Agent 框架不同，结果可能相差很多分。要同条件比较。
- 古德哈特定律：“一个指标一旦成为目标，就不再是好指标。”为排行榜优化，可能得到更会考试、却不更会干活的模型。
- 模型还是系统：Agent 基准评的是整个系统：模型、工具、提示、重试和环境（见 AI Agent 工作原理）。
flowchart LR Q["你的问题：我的任务该用哪个模型 / 系统？"] --> P["公开基准：初步筛选"] P --> O["自建评测集：30–200 个真实任务，标准明确"] O --> A["自动检查（测试、精确匹配、Schema 校验）"] O --> J["大模型当裁判（先用人工标注校验）"] O --> H["高风险场景人工复核"] A & J & H --> D["做出决策，并保留为回归测试集"]
为自己的场景做评测
- 用和任务相近的公开基准初步筛选。
- 收集真实示例（30 到 200 个是不错的起点），写下什么样的结果算正确。
- 能自动打分的尽量自动：单元测试、精确匹配、JSON Schema 校验、检索召回率（见 RAG）。
- 开放式输出可以用大模型当裁判，但要先测它和人工标注的一致性；裁判存在位置偏差和偏爱长回答的偏差（Zheng 等，2023）。
- 保留为回归测试集：每次更换模型、提示或工具，都重新跑一遍。
更多实操内容见 为自己的 AI 应用搭建评测 和 Agent 评估（编写中）。
常见问题
哪个大模型基准最好？
没有适用于所有场景的基准。选和你的任务相近的：编程 Agent 看 SWE-bench Verified，电脑操作看 OSWorld，专业知识看 GPQA 或 Humanity's Last Exam，通用聊天质量看竞技场式的偏好排名，然后用你自己的数据再测一遍。
什么是基准数据污染？
测试题（或答案）出现在了模型的训练数据里，高分可能来自背题而不是能力。由于网络规模的训练数据很难审计，新的基准会使用新出的、私有的或定期更换的题目。
Chatbot Arena 是怎么给模型排名的？
用户同时和两个匿名模型对话，投票选出更好的回答；再用统计模型（Bradley–Terry，类似国际象棋的 Elo 等级分）把海量两两对比的投票换算成带置信区间的排名。
能让一个大模型给另一个大模型打分吗？
可以，“大模型当裁判”用得很广，和人的判断也有相当高的一致性，但裁判有偏差（答案位置、长度、偏爱自己的风格）。正式使用前，先用人工标注校验裁判。