Anthropic
Claude 3.5 Sonnet 评测成绩
来自 5 个来源、9 项基准的 22 条成绩。
闭源 发布: 2024年6月20日 更新于 2026年10月22日
其他名称: claude-3-5-sonnet-20241022 · claude-3-5-sonnet-20240620 · Claude 3.5 Sonnet (Jun 2024) · Claude 3.5 Sonnet (20240620) · AgentScope · EPAM AI/Run Developer Agent v20250219 + Anthopic Claude 3.5 Sonnet · swe-search · CodeStory Midwit Agent + swe-search · Learn-by-interact · EPAM AI/Run Developer Agent v20241212 + Anthopic Claude 3.5 Sonnet
全部评测成绩
| 基准 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|
| LMArena Text | 1374 | 192 | Overall, style control on; 87779 votes; 95% CI 1371–1377“claude-3-5-sonnet-20241022” | 官方榜单 | 2026年10月8日 |
| LMArena Text | 1343 | 228 | Overall, style control on; 82419 votes; 95% CI 1340–1347“claude-3-5-sonnet-20240620” | 官方榜单 | 2026年10月8日 |
| LMArena Vision | 1161 | 104 | Overall, style control on; 10374 votes; 95% CI 1153–1169“claude-3-5-sonnet-20241022” | 官方榜单 | 2026年10月2日 |
| LMArena Vision | 1145 | 114 | Overall, style control on; 21624 votes; 95% CI 1135–1155“claude-3-5-sonnet-20240620” | 官方榜单 | 2026年10月2日 |
| LiveCodeBench | 34.8% | 17 | Code generation, 182 problems dated 2025-01-01…2025-04-07“Claude-3.5-Sonnet-20241022” | 官方榜单 | 2025年4月7日 |
| GPQA Diamond | 54.0% | 197 | Epoch AI run, accuracy; effort: Jun 2024 | 独立评测 | 2025年1月27日 |
| MMLU | 86.5% | 4 | Exact match; 5-shot; effort: Jun 2024 | 官方榜单 via Epoch AI | 2024年6月20日 |
| MMLU-Pro | 78.0% | 76 | Overall accuracy; data source: Self-Reported“Claude-3.5-Sonnet (2024-10-22)” | 厂商自报 | 2026年3月11日 |
| MMLU-Pro | 77.6% | 78 | Overall accuracy; data source: TIGER-LAb“Claude-3.5-Sonnet (2024-10-22)” | 官方榜单 | 2026年3月11日 |
| MMLU-Pro | 76.1% | 81 | Overall accuracy; data source: TIGER-Lab“Claude-3.5-Sonnet (2024-06-20)” | 官方榜单 | 2026年3月11日 |
| SWE-bench Verified | 63.4% | 43 | agent: AgentScope“claude-3-5-sonnet-20241022” | 官方榜单 | 2025年2月6日 |
| SWE-bench Verified | 62.8% | 45 | agent: EPAM AI/Run Developer Agent“claude-3-5-sonnet-20241022” | 官方榜单 | 2025年2月28日 |
| SWE-bench Verified | 62.2% | 47 | agent: CodeStory Midwit Agent“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年12月21日 |
| SWE-bench Verified | 60.2% | 50 | agent: Learn-by-interact“claude-3-5-sonnet-20241022” | 官方榜单 | 2025年1月10日 |
| SWE-bench Verified | 54.2% | 59 | agent: devlo“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年11月8日 |
| SWE-bench Verified | 51.8% | 66 | agent: Engine Labs“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年11月25日 |
| SWE-bench Verified | 51.6% | 67 | agent: AutoCodeRover-v2.1“claude-3-5-sonnet-20241022” | 官方榜单 | 2025年1月22日 |
| SWE-bench Verified | 50.8% | 69 | agent: Agentless-1.5“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年12月2日 |
| SWE-bench Verified | 46.2% | 72 | agent: AutoCodeRover-v2.0“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年11月8日 |
| SWE-bench Verified | 33.6% | 89 | agent: SWE-agent“claude-3-5-sonnet-20241022” | 官方榜单 | 2024年6月20日 |
| AIME (OTIS Mock AIME 2024–2025) | 6.5% | 228 | Epoch AI run, OTIS Mock AIME 2024–2025; effort: Jun 2024 | 独立评测 | 2025年2月25日 |
| MATH Level 5 | 51.7% | 58 | Epoch AI run, accuracy; effort: Jun 2024 | 独立评测 | 2025年1月27日 |
常见问题
Claude 3.5 Sonnet 的这些评测分数来自哪里？
来自 Epoch AI Benchmarking Hub、LiveCodeBench leaderboard、LMArena leaderboard dataset、MMLU-Pro leaderboard (TIGER-Lab)和SWE-bench leaderboards (swebench.com)。每一行都链接到原始榜单、数据集或报告，厂商自报的分数单独标注。