Gemini 1.5 Pro (Sept 2024) 评测成绩
来自 4 个来源、9 项基准的 10 条成绩。
闭源 发布: 2024年9月24日 更新于 2026年10月22日
其他名称: gemini-1.5-pro-002 · Gemini-1.5-Pro-002 · Gemini 1.5 Pro (002) · Gemini 1.5 Pro 002
全部评测成绩
| 基准 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|
| LMArena Text | 1351 | 214 | Overall, style control on; 55606 votes; 95% CI 1348–1355“gemini-1.5-pro-002” | 官方榜单 | 2026年10月8日 |
| LMArena Vision | 1179 | 98 | Overall, style control on; 8902 votes; 95% CI 1170–1188“gemini-1.5-pro-002” | 官方榜单 | 2026年10月2日 |
| GPQA Diamond | 57.2% | 186 | Epoch AI run, accuracy | 独立评测 | 2025年1月27日 |
| MMLU | 86.9% | 3 | Exact match; 5-shot | 官方榜单 via Epoch AI | 2024年9月24日 |
| MMLU-Pro | 70.3% | 100 | Overall accuracy; data source: TIGER-Lab“Gemini-1.5-Pro-002” | 官方榜单 | 2026年3月11日 |
| HumanEval / HumanEval+ | 89.0% | 8 | HumanEval (base tests), pass@1 greedy“Gemini 1.5 Pro 002” | 官方榜单 | 2024年12月26日 |
| HumanEval / HumanEval+ | 79.3% | 13 | HumanEval+ (extended tests), pass@1 greedy“Gemini 1.5 Pro 002” | 官方榜单 | 2024年12月26日 |
| AIME (OTIS Mock AIME 2024–2025) | 23.1% | 201 | Epoch AI run, OTIS Mock AIME 2024–2025 | 独立评测 | 2025年2月25日 |
| MATH Level 5 | 70.4% | 41 | Epoch AI run, accuracy | 独立评测 | 2025年1月27日 |
| Humanity's Last Exam | 4.6% | 46 | Compiled by Epoch AI | 第三方汇编 via Epoch AI | 2024年9月24日 |
常见问题
Gemini 1.5 Pro (Sept 2024) 的这些评测分数来自哪里？
来自 Epoch AI Benchmarking Hub、EvalPlus leaderboard、LMArena leaderboard dataset和MMLU-Pro leaderboard (TIGER-Lab)。每一行都链接到原始榜单、数据集或报告，厂商自报的分数单独标注。