第 4 阶段 · 精通与产业
评测与基准
怎样诚实地衡量模型和 AI 系统,以及基准为什么会误导。
2 节课1 节可读
- 01 怎样评测大模型:基准、竞技场与数据污染 MMLU、SWE-bench、Chatbot Arena 各自测什么,以及如何批判地看排行榜。 进阶 20 分钟 ✓
- 02 为自己的 AI 应用搭建评测 黄金测试集、大模型裁判、回归测试与线上监控。 高级 20 分钟 ✎ 编写中
在新版课程里对应的单元
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
第 4 阶段 · 精通与产业
怎样诚实地衡量模型和 AI 系统,以及基准为什么会误导。
2 节课1 节可读
每个单元都有学习目标、要掌握的算法、必读论文、动手项目和自测题。
数据更新于:学 AI 课程 · 课程相关新闻(北京时间)