知识 · %

MMLU

约 1.4 万道选择题，覆盖 57 个学科，从初等数学到法律、医学。

已饱和数据污染风险: 高 198 条成绩 · 158 个模型更新于 2026年10月22日最新成绩：2024-12-26 · 数据较旧官方榜单 ↗

测什么

广泛的学科知识（通常 5-shot 精确匹配）。数据由 Epoch AI 从论文、模型报告和 HELM 汇编。

局限

头部已饱和；研究发现部分题目答案有误；提示格式不同可让分数差好几个点。

数据污染风险: 高

2020 年公开，网上大量转载。

排行 · 子集 / 设定: `compiled`

96 个模型

#	模型	厂商	分数	名次	设定	来源类型	日期
1	GPT-4o (Nov 2024)	OpenAI	88.1%	1	Exact match; 5-shot; effort: Nov 2024	论文 / 技术报告 via Epoch AI	2024年11月20日
2	DeepSeek-V3OW	DeepSeek	87.1%	2	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年12月26日
3	GPT-4 (Mar 2023)	OpenAI	86.4%	3	Exact match; 5-shot; effort: Mar 2023	论文 / 技术报告 via Epoch AI	2023年3月14日
4	Llama 3.3 70BOW	Meta	86.3%	4	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年12月6日
5	Gemini 1.5 Pro (May 2024)	Google	85.9%	5	Exact match; 5-shot	厂商自报 via Epoch AI	2024年5月14日
6	Qwen2.5-72BOW	Alibaba (Qwen)	85.0%	6	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年9月19日
7	Phi-4OW	Microsoft Research	84.8%	7	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年12月12日
8	Llama 3.1-405BOW	Meta	84.4%	8	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年7月23日
9	GPT-4	OpenAI	83.9%	9	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
10	Gemini 1.5 Pro (Feb 2024)	Google	81.9%	10	Exact match; 5-shot	厂商自报 via Epoch AI	2024年2月15日
11	GPT-4o mini	OpenAI	81.8%	11	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年7月18日
12	Qwen2.5-14BOW	Alibaba (Qwen)	79.9%	12	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年9月19日
13	Claude 2	Anthropic	78.5%	13	Exact match; 5-shot	厂商自报 via Epoch AI	2023年7月11日
14	DeepSeek-V2 (MoE-236B, May 2024)OW	DeepSeek	78.4%	14	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年5月7日
15	phi-3-medium 14BOW	Microsoft	77.9%	15	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年4月23日
16	Claude 1.3	Anthropic	77.0%	16	Exact match; 5-shot	厂商自报 via Epoch AI	2023年4月18日
17	Yi-34BOW	01.AI	76.3%	17	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年11月2日
18	phi-3-small 7.4BOW	Microsoft	75.7%	18	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年4月23日
19	Qwen2.5-Coder-14BOW	Alibaba (Qwen)	75.2%	19	Exact match	论文 / 技术报告 via Epoch AI	2024年9月18日
20	Claude Instant	Anthropic	73.4%	20	Exact match; 5-shot	厂商自报 via Epoch AI	—
21	Inflection-1	Inflection AI	72.7%	21	Exact match; 5-shot	厂商自报 via Epoch AI	2023年6月22日
22	GPT-3.5 Turbo (Nov 2023)	OpenAI	71.4%	22	Exact match; 5-shot; effort: Nov 2023	论文 / 技术报告 via Epoch AI	2023年11月6日
23	Falcon-180BOW	Technology Innovation Institute	70.6%	23	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月6日
24	Mixtral 8x7BOW	Mistral AI	70.6%	23	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年12月11日
25	davinci-002	OpenAI	70.0%	25	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年3月15日
26	PaLM (540B)	Google Research	69.3%	26	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年4月4日
27	Llama 2-70BOW	Meta	68.9%	27	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月18日
28	phi-3-mini 3.8BOW	Microsoft	68.8%	28	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年4月23日
29	Stable Beluga 2OW	Stability AI	68.6%	29	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月20日
30	GPT-3.5 Turbo	OpenAI	68.5%	30	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
31	Yi-9BOW	01.AI	68.4%	31	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年3月1日
32	Qwen2.5-Coder (7B)OW	Alibaba (Qwen)	68.0%	32	Exact match	论文 / 技术报告 via Epoch AI	2024年9月18日
33	Chinchilla	Google	67.5%	34	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年3月29日
34	InternLM (104B)	Shanghai AI Lab (InternLM)	67.2%	35	Exact match; 5-shot	厂商自报 via Epoch AI	—
35	AquilaChat2 34B	—	66.7%	36	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
36	Llama 3-8BOW	Meta	66.5%	37	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年4月18日
37	Qwen-14BOW	Alibaba (Qwen)	66.3%	38	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月28日
38	Gemma 7BOW	Google	64.3%	40	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年2月21日
39	StarCoder 2 15BOW	Hugging Face	64.1%	41	Exact match	论文 / 技术报告 via Epoch AI	2024年2月20日
40	LLaMA-65BOW	Meta	63.4%	43	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年2月24日
41	Yi 6BOW	01.AI	63.2%	44	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年11月2日
42	Llama 2-34B	Meta	62.6%	45	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月18日
43	Mistral 7B v0.2OW	Mistral AI	62.5%	46	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年12月11日
44	Mistral 7B v0.1OW	Mistral AI	62.5%	46	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月27日
45	Qwen2.5-Coder-32BOW	Alibaba (Qwen)	61.2%	48	Exact match	论文 / 技术报告 via Epoch AI	2024年9月18日
46	DeepSeek-Coder-V2-Lite-Base	DeepSeek	60.5%	49	Exact match	论文 / 技术报告 via Epoch AI	2024年6月13日
47	Gopher (280B)	Google	60.0%	50	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2021年12月8日
48	Baichuan2-13BOW	Baichuan	59.2%	52	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月6日
49	Nemotron-4 15B	NVIDIA	58.7%	53	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年2月26日
50	Falcon 2 11BOW	Technology Innovation Institute	58.4%	54	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年5月9日
51	LLaMA-33BOW	Meta	57.8%	56	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年2月24日
52	internlm-chat-20b	Shanghai AI Lab (InternLM)	57.4%	57	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月17日
53	Falcon-40BOW	Technology Innovation Institute	56.9%	58	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年3月15日
54	Phi-2OW	Microsoft	56.3%	59	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年12月12日
55	XVERSE-13B	—	55.2%	61	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
56	Baichuan2-13B-Chat	Baichuan	55.1%	62	Exact match; 0-shot	论文 / 技术报告 via Epoch AI	2023年9月6日
57	Llama 2-13BOW	Meta	54.8%	63	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月18日
58	Baichuan 2-7BOW	Baichuan	54.2%	64	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月20日
59	PaLM 62B	Google	53.7%	65	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年4月4日
60	Qwen2.5-Coder (1.5B)OW	Alibaba (Qwen)	53.6%	66	Exact match	论文 / 技术报告 via Epoch AI	2024年9月18日
61	Vicuna-13BOW	LMSYS	52.0%	67	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
62	Baichuan 1-13BOW	Baichuan	51.6%	68	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月11日
63	internlm-7b	Shanghai AI Lab (InternLM)	51.0%	69	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月5日
64	INTELLECT-1	Prime Intellect	49.9%	72	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年11月29日
65	chatglm2-6bOW	Zhipu AI (Z.ai)	47.9%	73	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年6月24日
66	MPT-30BOW	MosaicML	47.9%	73	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年6月22日
67	ChatGLM 2-6B (base)*	Zhipu AI (Z.ai)	47.9%	75	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
68	LLaMA-13BOW	Meta	46.9%	76	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年2月24日
69	Llama 2-7BOW	Meta	45.3%	77	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年7月18日
70	Qwen-7BOW	Alibaba (Qwen)	45.0%	79	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年9月28日
71	Chinese-Alpaca-Plus-13B	Community (Chinese-LLaMA)	43.9%	80	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
72	InstructGPT 175B	OpenAI	43.9%	80	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年1月27日
73	Baichuan1-7BOW	Baichuan	42.3%	82	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年6月1日
74	Gemma 2BOW	Google	42.3%	82	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2024年2月21日
75	Qwen2.5-Coder-0.5B	Alibaba (Qwen)	42.0%	84	Exact match	论文 / 技术报告 via Epoch AI	2024年9月18日
76	CodeQwen1.5-7BOW	Alibaba (Qwen)	40.5%	85	Exact match	论文 / 技术报告 via Epoch AI	2024年4月15日
77	DeepSeek Coder 33BOW	DeepSeek	39.4%	86	Exact match	论文 / 技术报告 via Epoch AI	2023年11月2日
78	StarCoder 2 7BOW	Hugging Face	38.8%	87	Exact match	论文 / 技术报告 via Epoch AI	2024年2月20日
79	Phi-1.5OW	Microsoft	37.6%	88	Exact match; 2-shot	论文 / 技术报告 via Epoch AI	2023年9月11日
80	StarCoder 2 3BOW	Hugging Face	36.6%	89	Exact match	论文 / 技术报告 via Epoch AI	2024年2月22日
81	DeepSeek Coder 6.7BOW	DeepSeek	36.4%	90	Exact match	论文 / 技术报告 via Epoch AI	2023年11月2日
82	XGen-7BOW	Salesforce	36.3%	91	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年6月27日
83	LLaMA-7BOW	Meta	35.2%	92	Exact match; 2-shot	论文 / 技术报告 via Epoch AI	2023年2月24日
84	Falcon-7BOW	Technology Innovation Institute	35.0%	94	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年4月24日
85	GPT-NeoX 20BOW	EleutherAI	33.6%	95	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
86	MPT-7BOW	MosaicML	30.8%	98	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年5月5日
87	open_llama_7b	—	29.9%	99	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年6月7日
88	Qwen-1_8B	Alibaba (Qwen)	28.2%	101	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年11月30日
89	RedPajama-INCITE-7B-Base	—	26.3%	105	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年5月4日
90	Cerebras-GPT-13BOW	Cerebras Systems	26.2%	106	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年3月20日
91	Dolly 2.0-12bOW	Databricks	26.2%	106	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2023年4月11日
92	Falcon-rw-1.3B	TII	25.9%	108	Exact match; 2-shot	论文 / 技术报告 via Epoch AI	—
93	DeepSeek Coder 1.3BOW	DeepSeek	25.8%	109	Exact match	论文 / 技术报告 via Epoch AI	2023年11月2日
94	GPT-J-6BOW	EleutherAI	25.7%	111	Exact match; 0-shot	论文 / 技术报告 via Epoch AI	2021年8月5日
95	PaLM 8B	Google	25.4%	112	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	—
96	opt-13b	—	25.1%	114	Exact match; 5-shot	论文 / 技术报告 via Epoch AI	2022年5月11日

排行 · 子集 / 设定: `leaderboard`

79 个模型

#	模型	厂商	分数	名次	设定	来源类型	日期
1	Claude 3.5 Sonnet (October 2024)	Anthropic	87.3%	1	Exact match; 5-shot; effort: Oct 2024	官方榜单 via Epoch AI	2024年10月22日
2	DeepSeek-V3OW	DeepSeek	87.2%	2	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月26日
3	Gemini 1.5 Pro (Sept 2024)	Google	86.9%	3	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月24日
4	Claude 3.5 Sonnet	Anthropic	86.5%	4	Exact match; 5-shot; effort: Jun 2024	官方榜单 via Epoch AI	2024年6月20日
5	Claude 3 Opus	Anthropic	84.6%	5	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月29日
6	Llama 3.1-405BOW	Meta	84.5%	6	Exact match; 5-shot	官方榜单 via Epoch AI	2024年7月23日
7	GPT-4o (Aug 2024)	OpenAI	84.3%	7	Exact match; 5-shot; effort: Aug 2024	官方榜单 via Epoch AI	2024年8月6日
8	GPT-4o (May 2024)	OpenAI	84.2%	8	Exact match; 5-shot; effort: May 2024	官方榜单 via Epoch AI	2024年5月13日
9	Qwen2.5-72BOW	Alibaba (Qwen)	83.4%	9	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月19日
10	Gemini 1.5 Pro (Feb 2024)	Google	82.7%	10	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月15日
11	GPT-4 (Jun 2023)	OpenAI	82.4%	11	Exact match; 5-shot; effort: Jun 2023	官方榜单 via Epoch AI	2023年6月13日
12	Qwen2-72BOW	Alibaba (Qwen)	82.4%	11	Exact match; 5-shot	官方榜单 via Epoch AI	2024年6月7日
13	Amazon Nova Pro	Amazon	82.0%	13	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月3日
14	GPT-4 Turbo (Apr 2024)	OpenAI	81.3%	14	Exact match; 5-shot	官方榜单 via Epoch AI	2024年4月9日
15	Gemini 1.5 Pro (0409 preview)	Google	81.0%	15	Exact match; 5-shot	官方榜单 via Epoch AI	—
16	Llama 3.2 90BOW	Meta	80.3%	16	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月24日
17	Llama 3.1-70BOW	Meta	80.1%	17	Exact match; 5-shot	官方榜单 via Epoch AI	2024年7月23日
18	Mistral Large 2 (Jul 2024)OW	Mistral AI	80.0%	18	Exact match; 5-shot	官方榜单 via Epoch AI	2024年7月24日
19	Gemini 2.0 Flash (Dec 2024)	Google	79.7%	19	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月11日
20	GPT-4 Turbo (Nov 2023)	OpenAI	79.6%	20	Exact match; 5-shot	官方榜单 via Epoch AI	2023年11月6日
21	Llama 3-70BOW	Meta	79.3%	21	Exact match; 5-shot	官方榜单 via Epoch AI	2024年4月18日
22	Yi-Large	01.AI	79.3%	21	Exact match; 5-shot	官方榜单 via Epoch AI	2024年5月13日
23	Llama 3.3 70BOW	Meta	79.1%	23	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月6日
24	PaLM-2 (Unicorn)	Google	78.6%	24	Exact match; 5-shot	官方榜单 via Epoch AI	—
25	Palmyra X V3 (72B)	Google	78.6%	24	Exact match; 5-shot	官方榜单 via Epoch AI	—
26	Jamba 1.5 LargeOW	AI21 Labs	78.2%	26	Exact match; 5-shot	官方榜单 via Epoch AI	—
27	Gemini 1.5 Flash (May 2024)	Google	77.9%	27	Exact match; 5-shot; effort: May 2024	官方榜单 via Epoch AI	2024年5月23日
28	Mixtral 8x22BOW	Mistral AI	77.8%	28	Exact match; 5-shot	官方榜单 via Epoch AI	2024年4月17日
29	Solar Pro	—	77.6%	30	Exact match; 5-shot	官方榜单 via Epoch AI	—
30	phi-3-medium 14BOW	Microsoft	77.5%	31	Exact match; 5-shot	官方榜单 via Epoch AI	2024年4月23日
31	Qwen1.5-72BOW	Alibaba (Qwen)	77.4%	32	Exact match; 5-shot“Qwen1.5 (72B)”	官方榜单 via Epoch AI	—
32	Amazon Nova Lite	Amazon	77.0%	33	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月3日
33	Qwen1.5 Chat (110B)	Alibaba (Qwen)	76.8%	34	Exact match; 5-shot	官方榜单 via Epoch AI	—
34	GPT-4o mini	OpenAI	76.7%	35	Exact match; 5-shot	官方榜单 via Epoch AI	2024年7月18日
35	Yi-34BOW	01.AI	76.2%	36	Exact match; 5-shot	官方榜单 via Epoch AI	2023年11月2日
36	Claude 3 Sonnet	Anthropic	75.9%	37	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月29日
37	Gemma 2 27BOW	Google	75.7%	38	Exact match; 5-shot	官方榜单 via Epoch AI	2024年6月24日
38	Phi-3 (7B)	Microsoft	75.7%	38	Exact match; 5-shot	官方榜单 via Epoch AI	—
39	Qwen1.5-32BOW	Alibaba (Qwen)	74.4%	40	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月4日
40	Claude 3.5 Haiku	Anthropic	74.3%	41	Exact match; 5-shot; effort: Oct 2024	官方榜单 via Epoch AI	2024年10月22日
41	DBRXOW	Databricks	74.1%	42	Exact match; 5-shot“DBRX Instruct”	官方榜单 via Epoch AI	—
42	Gemini 1.5 Flash (Sep 2024)	Google	73.9%	43	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月24日
43	Palmyra-X-004	Writer	73.9%	43	Exact match; 5-shot	官方榜单 via Epoch AI	—
44	Claude 3 Haiku	Anthropic	73.8%	45	Exact match; 5-shot	官方榜单 via Epoch AI	2024年3月7日
45	Claude 2.1	Anthropic	73.5%	46	Exact match; 5-shot	官方榜单 via Epoch AI	2023年11月21日
46	Qwen2.5-7BOW	Alibaba (Qwen)	72.9%	47	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月19日
47	DeepSeek LLM Chat (67B)	DeepSeek	72.5%	48	Exact match; 5-shot	官方榜单 via Epoch AI	—
48	Gemma 2 9BOW	Google	72.1%	49	Exact match; 5-shot	官方榜单 via Epoch AI	2024年6月24日
49	Mixtral (8x7B 32K seqlen)	Mistral AI	71.7%	50	Exact match; 5-shot	官方榜单 via Epoch AI	—
50	Amazon Nova Micro	Amazon	70.8%	51	Exact match; 5-shot	官方榜单 via Epoch AI	2024年12月3日
51	Gemini 1.0 Pro	Google	70.0%	52	Exact match; 5-shot	官方榜单 via Epoch AI	2023年12月13日
52	Jamba 1.5 MiniOW	AI21 Labs	69.9%	53	Exact match; 5-shot	官方榜单 via Epoch AI	—
53	Llama 2-70BOW	Meta	69.5%	54	Exact match; 5-shot	官方榜单 via Epoch AI	2023年7月18日
54	Command R+OW	Cohere	69.4%	55	Exact match; 5-shot	官方榜单 via Epoch AI	2024年8月30日
55	PaLM-2 (Bison)	Google	69.2%	56	Exact match; 5-shot	官方榜单 via Epoch AI	—
56	GPT-3.5 Turbo (Jun 2023)	OpenAI	68.9%	57	Exact match; 5-shot; effort: June 2023	官方榜单 via Epoch AI	2023年6月13日
57	Claude Instant	Anthropic	68.8%	58	Exact match; 5-shot	官方榜单 via Epoch AI	2023年8月9日
58	Llama 3-8BOW	Meta	68.8%	58	Exact match; 5-shot	官方榜单 via Epoch AI	2024年4月18日
59	Mistral Large	Mistral AI	68.8%	58	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月26日
60	mistral-small-2402	Mistral AI	68.7%	61	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月26日
61	Qwen1.5-14BOW	Alibaba (Qwen)	68.6%	62	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月4日
62	Arctic Instruct	Snowflake	67.7%	63	Exact match; 5-shot	官方榜单 via Epoch AI	—
63	GPT-3.5 Turbo (Jan 2024)	OpenAI	67.3%	64	Exact match; 5-shot; effort: Jan 2024	官方榜单 via Epoch AI	2024年1月25日
64	Gemma 7BOW	Google	66.1%	65	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月21日
65	Jamba Instruct	AI21 Labs	65.9%	66	Exact match; 5-shot	官方榜单 via Epoch AI	—
66	Mistral NeMo (2402)	Mistral AI	65.3%	67	Exact match; 5-shot	官方榜单 via Epoch AI	—
67	c4ai-command-r-08-2024	Cohere	65.2%	68	Exact match; 5-shot	官方榜单 via Epoch AI	2024年8月30日
68	Yi 6BOW	01.AI	64.0%	69	Exact match; 5-shot	官方榜单 via Epoch AI	2023年11月2日
69	Qwen1.5-7BOW	Alibaba (Qwen)	62.6%	70	Exact match; 5-shot	官方榜单 via Epoch AI	2024年2月4日
70	Palmyra X V2 (33B)	Google	62.1%	71	Exact match; 5-shot	官方榜单 via Epoch AI	—
71	Mistral 7B v0.3OW	Mistral AI	59.9%	72	Exact match; 5-shot	官方榜单 via Epoch AI	2024年5月27日
72	Phi-2OW	Microsoft	58.4%	73	Exact match; 5-shot	官方榜单 via Epoch AI	2023年12月12日
73	Mistral 7B v0.1OW	Mistral AI	56.6%	74	Exact match; 5-shot	官方榜单 via Epoch AI	2023年9月27日
74	Llama 3.2 11BOW	Meta	56.5%	75	Exact match; 5-shot	官方榜单 via Epoch AI	2024年9月24日
75	Llama 3.1-8BOW	Meta	56.1%	76	Exact match; 5-shot	官方榜单 via Epoch AI	2024年7月23日
76	Llama 2-13BOW	Meta	55.4%	77	Exact match; 5-shot	官方榜单 via Epoch AI	2023年7月18日
77	OLMo 1.7 (7B)	Ai2	53.8%	78	Exact match; 5-shot	官方榜单 via Epoch AI	—
78	Llama 2-7BOW	Meta	45.8%	79	Exact match; 5-shot	官方榜单 via Epoch AI	2023年7月18日
79	OLMo (7B)	Ai2	29.5%	80	Exact match; 5-shot	官方榜单 via Epoch AI	—

最高分变化

按评测日期，每一步表示本站数据中出现了新的最高分。

2023-06-1382.4%GPT-4 (Jun 2023)
2024-02-1582.7%Gemini 1.5 Pro (Feb 2024)
2024-02-2984.6%Claude 3 Opus
2024-06-2086.5%Claude 3.5 Sonnet
2024-09-2486.9%Gemini 1.5 Pro (Sept 2024)
2024-10-2287.3%Claude 3.5 Sonnet (October 2024)

数据来源与许可

来源	许可 / 条款	本站使用方式	最近抓取
Epoch AI Benchmarking Hub Epoch AI, 'Capabilities & benchmarking', https://epoch.ai/benchmarks (CC BY 4.0)	CC BY 4.0	开放许可：完整收录并署名	2026年10月22日

← 全部基准 · 了解评测基准是怎么回事

常见问题

MMLU 测的是什么？

约 1.4 万道选择题，覆盖 57 个学科，从初等数学到法律、医学。广泛的学科知识（通常 5-shot 精确匹配）。数据由 Epoch AI 从论文、模型报告和 HELM 汇编。

MMLU 的结果可靠吗？

头部已饱和；研究发现部分题目答案有误；提示格式不同可让分数差好几个点。数据污染风险: 高 – 2020 年公开，网上大量转载。

测什么

局限