Agent 编程 · %
SWE-bench Verified
来自 12 个 Python 仓库、经人工核验的 500 个 GitHub issue，系统需生成补丁让隐藏测试通过。
测什么
模型加 agent 框架解决 issue 的比例。swebench.com 的条目是各家 agent 系统；Epoch AI 的条目用其统一框架。
局限
2026 年 2 月 OpenAI 宣布不再报告 SWE-bench Verified，理由是数据污染，且其审查的 138 道难题中 59.4% 的测试或描述有问题。分数也高度依赖 agent 框架。
数据污染风险: 高
OpenAI 发现前沿模型能凭记忆复现标准补丁。
排行 · 子集 / 设定: epoch
32 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.7 | Anthropic | 83.5% | 1 | Epoch AI run (Epoch scaffold); effort: max | 独立评测 | 2026年4月20日 |
| 2 | GPT-5.5 | OpenAI | 80.6% | 2 | Epoch AI run (Epoch scaffold); effort: xhigh | 独立评测 | 2026年4月24日 |
| 3 | Gemini 3.5 Flash | 79.3% | 3 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年6月1日 | |
| 4 | Claude Opus 4.6 | Anthropic | 78.7% | 4 | Epoch AI run (Epoch scaffold); effort: no thinking | 独立评测 | 2026年2月18日 |
| 5 | GLM-5.2OW | Zhipu AI (Z.ai) | 78.7% | 5 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年6月25日 |
| 6 | DeepSeek-V4-ProOW | DeepSeek | 77.6% | 6 | Epoch AI run (Epoch scaffold); effort: max | 独立评测 | 2026年6月18日 |
| 7 | Qwen3.7-Max | Alibaba (Qwen) | 77.3% | 7 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年6月18日 |
| 8 | GPT-5.4 | OpenAI | 76.9% | 8 | Epoch AI run (Epoch scaffold); effort: high | 独立评测 | 2026年3月6日 |
| 9 | Qwen 3.6 Max (Preview) | Alibaba (Qwen) | 76.7% | 9 | Epoch AI run (Epoch scaffold); effort: Preview | 独立评测 | 2026年5月28日 |
| 10 | Kimi K2.6OW | Moonshot AI | 76.7% | 9 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年5月8日 |
| 11 | Claude Opus 4.5 | Anthropic | 76.7% | 9 | Epoch AI run (Epoch scaffold); effort: no thinking | 独立评测 | 2026年2月5日 |
| 12 | Gemini 3.1 Pro | 75.6% | 12 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月24日 | |
| 13 | Gemini 3 Flash | 75.4% | 13 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月18日 | |
| 14 | Claude Sonnet 4.6 | Anthropic | 75.2% | 14 | Epoch AI run (Epoch scaffold); effort: no thinking | 独立评测 | 2026年2月21日 |
| 15 | GPT-5.3 Codex | OpenAI | 74.8% | 15 | Epoch AI run (Epoch scaffold); effort: high | 独立评测 | 2026年2月25日 |
| 16 | GLM-5.1OW | Zhipu AI (Z.ai) | 74.2% | 16 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年5月15日 |
| 17 | Kimi K2.5OW | Moonshot AI | 73.8% | 17 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月17日 |
| 18 | GPT-5.2 | OpenAI | 73.8% | 17 | Epoch AI run (Epoch scaffold); effort: high | 独立评测 | 2026年2月12日 |
| 19 | GPT-5 | OpenAI | 73.5% | 19 | Epoch AI run (Epoch scaffold); effort: high | 独立评测 | 2026年2月6日 |
| 20 | Claude Opus 4.1 | Anthropic | 73.3% | 20 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月11日 |
| 21 | Gemini 3 Pro | 72.9% | 21 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月13日 | |
| 22 | GLM-5OW | Zhipu AI (Z.ai) | 72.1% | 22 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月15日 |
| 23 | Claude Sonnet 4.5 | Anthropic | 71.3% | 24 | Epoch AI run (Epoch scaffold); effort: no thinking | 独立评测 | 2026年2月5日 |
| 24 | Claude Opus 4 | Anthropic | 70.7% | 25 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月6日 |
| 25 | GPT-5.1 | OpenAI | 68.0% | 26 | Epoch AI run (Epoch scaffold); effort: high | 独立评测 | 2026年2月18日 |
| 26 | GPT-5 mini | OpenAI | 64.7% | 27 | Epoch AI run (Epoch scaffold); effort: medium | 独立评测 | 2026年2月1日 |
| 27 | o3 | OpenAI | 62.3% | 28 | Epoch AI run (Epoch scaffold); effort: medium | 独立评测 | 2026年2月12日 |
| 28 | Claude 3.7 Sonnet | Anthropic | 61.0% | 29 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月4日 |
| 29 | Qwen 3.6 Plus | Alibaba (Qwen) | 57.9% | 30 | Epoch AI run (Epoch scaffold); effort: 2026-04-02 | 独立评测 | 2026年5月14日 |
| 30 | Gemini 2.5 Pro (Jun 2025) | 57.6% | 31 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月13日 | |
| 31 | GPT-4.1 | OpenAI | 48.5% | 32 | Epoch AI run (Epoch scaffold) | 独立评测 | 2026年2月8日 |
| 32 | GPT-4o (Nov 2024) | OpenAI | 31.0% | 33 | Epoch AI run (Epoch scaffold); effort: Nov 2024 | 独立评测 | 2026年2月11日 |
排行 · 子集 / 设定: leaderboard
64 个模型
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 4.5 | Anthropic | 79.2% | 1 | agent: Sonar Foundation Agent“claude-opus-4-5” | 官方榜单 | 2025年12月5日 |
| 2 | Gemini 3 Pro | 77.4% | 3 | agent: live-SWE-agent“gemini-3-pro-preview” | 官方榜单 | 2025年11月20日 | |
| 3 | Claude Sonnet 4 | Anthropic | 76.8% | 4 | agent: EPAM AI/Run Developer Agent“claude-sonnet-4-20250514” | 官方榜单 | 2025年8月4日 |
| 4 | claude-4-5-opus | Anthropic | 76.8% | 4 | agent: mini-SWE-agent | 官方榜单 | 2026年2月17日 |
| 5 | Gemini 3 Flash | 75.8% | 6 | agent: mini-SWE-agent“gemini-3-flash-preview” | 官方榜单 | 2026年2月17日 | |
| 6 | MiniMax-M2.5OW | MiniMax | 75.8% | 6 | agent: mini-SWE-agent“minimax-m2.5” | 官方榜单 | 2026年2月17日 |
| 7 | Claude Opus 4.6 | Anthropic | 75.6% | 8 | agent: mini-SWE-agent“claude-opus-4-6” | 官方榜单 | 2026年2月17日 |
| 8 | Claude Sonnet 4.5 | Anthropic | 74.8% | 9 | agent: Sonar Foundation Agent“claude-sonnet-4-5” | 官方榜单 | 2025年11月3日 |
| 9 | claude-4-sonnet | Anthropic | 74.6% | 11 | agent: Lingxi-v1.5“claude-4-sonnet-20250514” | 官方榜单 | 2025年7月20日 |
| 10 | GPT-5 | OpenAI | 74.4% | 12 | agent: Prometheus-v1.2.1“gpt-5-2025-08-07” | 官方榜单 | 2025年10月15日 |
| 11 | claude-4-opus | Anthropic | 73.2% | 15 | agent: Tools“claude-4-opus-20250514” | 官方榜单 | 2025年5月22日 |
| 12 | GLM-5OW | Zhipu AI (Z.ai) | 72.8% | 16 | agent: mini-SWE-agent“glm-5” | 官方榜单 | 2026年2月17日 |
| 13 | GPT-5.2 | OpenAI | 72.8% | 16 | agent: mini-SWE-agent“gpt-5-2” | 官方榜单 | 2026年2月17日 |
| 14 | GPT-5.2 Codex | OpenAI | 72.8% | 16 | agent: mini-SWE-agent“gpt-5-2-codex” | 官方榜单 | 2026年2月19日 |
| 15 | Kimi K2 ThinkingOW | Moonshot AI | 71.2% | 22 | agent: Lingxi v1.5“kimi-k2-0905-preview” | 官方榜单 | 2025年10月14日 |
| 16 | Kimi K2.5OW | Moonshot AI | 70.8% | 25 | agent: mini-SWE-agent“kimi-k2.5” | 官方榜单 | 2026年2月17日 |
| 17 | DeepSeek-V3.2OW | DeepSeek | 70.0% | 28 | agent: mini-SWE-agent“deepseek-v3.2” | 官方榜单 | 2026年2月17日 |
| 18 | Qwen3-Coder-480B-A35BOW | Alibaba (Qwen) | 69.6% | 29 | agent: OpenHands“https://huggingface.co/Qwen/Qwen3-Coder-480B-A35B-Instruct” | 官方榜单 | 2025年8月5日 |
| 19 | GLM-4.6OW | Zhipu AI (Z.ai) | 68.2% | 30 | agent: Undisclosed“https://huggingface.co/zai-org/GLM-4.6” | 官方榜单 | 2025年9月30日 |
| 20 | Claude Haiku 4.5 | Anthropic | 66.6% | 32 | agent: mini-SWE-agent“claude-haiku-4-5-20251001” | 官方榜单 | 2026年2月17日 |
| 21 | Claude 3.7 Sonnet | Anthropic | 66.4% | 34 | agent: Aime-coder v1“claude-3-7-sonnet-20250219” | 官方榜单 | 2025年5月14日 |
| 22 | GPT-5.1 | OpenAI | 66.0% | 35 | agent: mini-SWE-agent“gpt-5.1-2025-11-13” | 官方榜单 | 2025年11月20日 |
| 23 | GPT-5.1-Codex | OpenAI | 66.0% | 35 | agent: mini-SWE-agent“gpt-5.1-codex” | 官方榜单 | 2025年11月24日 |
| 24 | Kimi K2 (Jul 2025)OW | Moonshot AI | 65.4% | 37 | agent: OpenHands“moonshot/kimi-k2-0711-preview” | 官方榜单 | 2025年7月16日 |
| 25 | o1-preview | OpenAI | 64.6% | 40 | agent: W&B Programmer O1 crosscheck5 | 官方榜单 | 2025年1月17日 |
| 26 | o4-mini | OpenAI | 64.6% | 40 | agent: PatchPilot-v1.1 | 官方榜单 | 2025年5月3日 |
| 27 | GLM-4.5OW | Zhipu AI (Z.ai) | 64.2% | 42 | agent: Undisclosed“https://huggingface.co/zai-org/GLM-4.5” | 官方榜单 | 2025年7月28日 |
| 28 | Claude 3.5 Sonnet | Anthropic | 63.4% | 43 | agent: AgentScope“claude-3-5-sonnet-20241022” | 官方榜单 | 2025年2月6日 |
| 29 | MiniMax-M2OW | MiniMax | 61.0% | 48 | agent: mini-SWE-agent“minimax-m2” | 官方榜单 | 2025年11月24日 |
| 30 | Qwen3-Coder-30B-A3B-Instruct | Alibaba (Qwen) | 60.4% | 49 | agent: EntroPO + R2E | 官方榜单 | 2025年9月1日 |
| 31 | deepseek-v3.2-reasoner | DeepSeek | 60.0% | 51 | agent: mini-SWE-agent | 官方榜单 | 2025年12月1日 |
| 32 | GPT-5 mini | OpenAI | 59.8% | 52 | agent: mini-SWE-agent“gpt-5-mini-2025-08-07” | 官方榜单 | 2025年8月7日 |
| 33 | /huggingface.co/agentica-org/DeepSWE-Preview | OpenAI | 58.8% | 53 | agent: DeepSWE-Preview“https://huggingface.co/agentica-org/DeepSWE-Preview” | 官方榜单 | 2025年6月29日 |
| 34 | o3 | OpenAI | 58.4% | 54 | agent: mini-SWE-agent“o3-20250416” | 官方榜单 | 2025年7月26日 |
| 35 | Devstral Small 2OW | Mistral AI | 56.4% | 56 | agent: mini-SWE-agent“devstral-small-2512” | 官方榜单 | 2025年12月9日 |
| 36 | devstral-2512 | Mistral AI | 53.8% | 61 | agent: mini-SWE-agent | 官方榜单 | 2025年12月9日 |
| 37 | FrogBoss-32B-2510 | — | 53.6% | 62 | agent: FrogBoss-32B-2510 | 官方榜单 | 2025年11月10日 |
| 38 | Gemini 2.5 Pro (Jun 2025) | 53.6% | 62 | agent: mini-SWE-agent“gemini-2.5-pro” | 官方榜单 | 2025年7月26日 | |
| 39 | /huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct | Alibaba (Qwen) | 51.6% | 67 | agent: OpenHands“https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct” | 官方榜单 | 2025年8月5日 |
| 40 | Qwen2.5-Coder-32B-InstructOW | Alibaba (Qwen) | 47.0% | 70 | agent: Skywork-SWE-32B | 官方榜单 | 2025年6月16日 |
| 41 | Devstral-Small-2505 | Mistral AI | 46.8% | 71 | agent: OpenHands“mistralai/Devstral-Small-2505” | 官方榜单 | 2025年5月20日 |
| 42 | FrogMini-14B-2510 | — | 45.0% | 73 | agent: FrogMini-14B-2510 | 官方榜单 | 2025年11月10日 |
| 43 | Gemini 2.0 Flash (Dec 2024) | 44.2% | 75 | agent: CodeShellAgent“gemini-2.0-flash-exp” | 官方榜单 | 2025年1月18日 | |
| 44 | o3-mini | OpenAI | 42.4% | 77 | agent: Agentless Lite | 官方榜单 | 2025年2月14日 |
| 45 | amazon.nova-premier-v1:0 | Amazon | 42.4% | 77 | agent: Amazon Nova Premier 1.0 | 官方榜单 | 2025年5月27日 |
| 46 | DeepSeek-V3 (Mar 2025)OW | DeepSeek | 42.0% | 80 | agent: SWE-Exp“DeepSeek-V3-0324” | 官方榜单 | 2025年8月6日 |
| 47 | Llama3-SWE-RL-70B | Meta | 41.2% | 81 | agent: Agentless Mini | 官方榜单 | 2025年2月26日 |
| 48 | Claude 3 Haiku | Anthropic | 40.6% | 82 | agent: Tools“claude-3-haiku-20240307” | 官方榜单 | 2024年10月22日 |
| 49 | Qwen 2.5 | Alibaba (Qwen) | 40.2% | 83 | agent: SWE-agent | 官方榜单 | 2025年5月11日 |
| 50 | GPT-4.1 | OpenAI | 39.6% | 84 | agent: mini-SWE-agent“gpt-4.1-20250414” | 官方榜单 | 2025年7月26日 |
| 51 | GPT-4o (May 2024) | OpenAI | 38.8% | 85 | agent: Agentless-1.5“gpt-4o-2024-05-13” | 官方榜单 | 2024年10月28日 |
| 52 | devstral-small-2507 | Mistral AI | 38.0% | 87 | agent: SWE-agent | 官方榜单 | 2025年7月25日 |
| 53 | GPT-5 nano | OpenAI | 34.8% | 88 | agent: mini-SWE-agent“gpt-5-nano-2025-08-07” | 官方榜单 | 2025年8月7日 |
| 54 | Gemini 2.5 Flash (Jun 2025) | 28.7% | 92 | agent: mini-SWE-agent“gemini-2.5-flash” | 官方榜单 | 2025年7月26日 | |
| 55 | gpt-oss-120bOW | OpenAI | 26.0% | 95 | agent: mini-SWE-agent | 官方榜单 | 2025年8月7日 |
| 56 | GPT-4.1 mini | OpenAI | 23.9% | 96 | agent: mini-SWE-agent“gpt-4.1-mini-20250414” | 官方榜单 | 2025年7月20日 |
| 57 | MCTS-Refine-7B | — | 23.2% | 97 | agent: MCTS-Refine-7B | 官方榜单 | 2025年6月27日 |
| 58 | GPT-4 Turbo (Nov 2023) | OpenAI | 22.4% | 99 | agent: SWE-agent“gpt-4-1106-preview” | 官方榜单 | 2024年4月2日 |
| 59 | llama-4-maverick-instruct | Meta | 21.0% | 101 | agent: mini-SWE-agent | 官方榜单 | 2025年7月20日 |
| 60 | Claude 3 Opus | Anthropic | 15.8% | 102 | agent: SWE-agent“claude-3-opus-20240229” | 官方榜单 | 2024年4月2日 |
| 61 | gemini-2.0-flash | 13.5% | 103 | agent: mini-SWE-agent | 官方榜单 | 2025年7月26日 | |
| 62 | llama-4-scout-instruct | Meta | 9.1% | 104 | agent: mini-SWE-agent | 官方榜单 | 2025年7月20日 |
| 63 | Claude 2 | Anthropic | 4.4% | 107 | agent: RAG baseline“claude-2” | 官方榜单 | 2023年10月10日 |
| 64 | SWE-Llama | Meta | 1.4% | 109 | agent: RAG baseline | 官方榜单 | 2023年10月10日 |
最高分变化
按评测日期，每一步表示本站数据中出现了新的最高分。
- 2023-10-104.4%Claude 2
- 2024-04-0222.4%GPT-4 Turbo (Nov 2023)
- 2024-06-1232.6%GPT-4o (May 2024)
- 2024-06-2033.6%Claude 3.5 Sonnet
- 2024-06-2838.4%GPT-4o (May 2024)
- 2024-10-2240.6%Claude 3 Haiku
- 2024-11-0854.2%Claude 3.5 Sonnet
- 2024-12-2162.2%Claude 3.5 Sonnet
- 2025-01-1764.6%o1-preview
- 2025-05-1466.4%Claude 3.7 Sonnet
- 2025-05-2273.2%claude-4-opus
- 2025-07-2074.6%claude-4-sonnet
- 2025-07-3174.8%Claude Sonnet 4
- 2025-08-0476.8%Claude Sonnet 4
- 2025-11-2077.4%Gemini 3 Pro
- 2025-12-0579.2%Claude Opus 4.5
- 2026-04-2083.5%Claude Opus 4.7
数据来源与许可
| 来源 | 许可 / 条款 | 本站使用方式 | 最近抓取 |
|---|---|---|---|
| SWE-bench leaderboards (swebench.com) SWE-bench team, swebench.com leaderboards | No explicit licence (NOASSERTION) – factual scores only, with citation | 无明确许可：只收事实性分数并注明出处 | 2026年10月22日 |
| Epoch AI Benchmarking Hub Epoch AI, 'Capabilities & benchmarking', https://epoch.ai/benchmarks (CC BY 4.0) | CC BY 4.0 | 开放许可：完整收录并署名 | 2026年10月22日 |
常见问题
SWE-bench Verified 测的是什么？
来自 12 个 Python 仓库、经人工核验的 500 个 GitHub issue，系统需生成补丁让隐藏测试通过。 模型加 agent 框架解决 issue 的比例。swebench.com 的条目是各家 agent 系统；Epoch AI 的条目用其统一框架。
SWE-bench Verified 的结果可靠吗？
2026 年 2 月 OpenAI 宣布不再报告 SWE-bench Verified，理由是数据污染，且其审查的 138 道难题中 59.4% 的测试或描述有问题。分数也高度依赖 agent 框架。 数据污染风险: 高 – OpenAI 发现前沿模型能凭记忆复现标准补丁。