中文 · %
CMMLU
中文多任务知识基准：67 个学科，含中国特有主题。
测什么
平均准确率（5-shot / 0-shot）。
局限
榜单最后更新于 2024 年，以旧模型为主；数据为非商业许可，本站只引用前几名。
数据污染风险: 高
测试集公开。
排行 · 子集 / 设定: five-shot
10 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Lingzhi-72B-chat | — | 90.3% | 1 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 2 | Telechat2-35B | — | 90.2% | 2 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 3 | Spark 4.0-2024-10-14 | iFlytek | 90.1% | 3 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 4 | Qwen2-72BOW | Alibaba (Qwen) | 89.7% | 4 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 5 | Jiutian-大模型 | — | 88.6% | 5 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 6 | Qwen1.5-110BOW | Alibaba (Qwen) | 88.3% | 6 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 7 | JIUTIAN-57B | — | 87.4% | 7 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 8 | Qwen2.5-72BOW | Alibaba (Qwen) | 85.7% | 8 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 9 | Youyuanjian | — | 83.7% | 9 | Five-shot average | 官方榜单 | 2024年12月6日 |
| 10 | Qwen1.5-72BOW | Alibaba (Qwen) | 83.5% | 10 | Five-shot average | 官方榜单 | 2024年12月6日 |
排行 · 子集 / 设定: zero-shot
10 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Spark 4.0-2024-10-14 | iFlytek | 91.0% | 1 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 2 | Telechat2-35B | — | 90.5% | 2 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 3 | Lingzhi-72B-chat | — | 90.1% | 3 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 4 | Qwen1.5-110BOW | Alibaba (Qwen) | 87.6% | 4 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 5 | Qwen2-72BOW | Alibaba (Qwen) | 87.5% | 5 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 6 | Qwen2.5-72BOW | Alibaba (Qwen) | 84.7% | 6 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 7 | PCI-TransGPT | — | 82.4% | 7 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 8 | Qwen1.5-72BOW | Alibaba (Qwen) | 81.8% | 8 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 9 | Qwen1.5-32BOW | Alibaba (Qwen) | 81.5% | 9 | Zero-shot average | 官方榜单 | 2024年12月6日 |
| 10 | Youyuanjian | — | 81.2% | 10 | Zero-shot average | 官方榜单 | 2024年12月6日 |
数据来源与许可
| 来源 | 许可 / 条款 | 本站使用方式 | 最近抓取 |
|---|---|---|---|
| CMMLU leaderboard (GitHub README) Li et al., CMMLU (CC BY-NC-SA 4.0) | CC BY-NC-SA 4.0 | 有限制：只引用前几名 | 2026年10月22日 |
常见问题
CMMLU 测的是什么？
中文多任务知识基准：67 个学科，含中国特有主题。 平均准确率（5-shot / 0-shot）。
CMMLU 的结果可靠吗？
榜单最后更新于 2024 年，以旧模型为主；数据为非商业许可，本站只引用前几名。 数据污染风险: 高 – 测试集公开。