Agent 编程 · %
SWE-bench Pro
Scale AI 推出的更难、更长流程的 SWE-bench 后继版本，公开集 731 题，另有私有/商业子集。
测什么
任务解决率。
局限
本站未采集（没有开放数据文件）。OpenAI 先推荐用它替代 Verified，之后估计约 30% 的题目有问题，又撤回了推荐。
数据污染风险: 中
私有子集可减少污染，公开子集仍有暴露风险。
本站不转载这个榜单（没有开放数据，或条款不允许）。最新成绩请看官方页面。
https://scale.com/leaderboard/swe_bench_pro_public ↗数据来源与许可
| 来源 | 许可 / 条款 | 本站使用方式 | 最近抓取 |
|---|---|---|---|
| Scale AI SEAL leaderboards (SWE-bench Pro, HLE) Scale AI | No open data interface | 未采集：只放链接 | — |
常见问题
SWE-bench Pro 测的是什么？
Scale AI 推出的更难、更长流程的 SWE-bench 后继版本，公开集 731 题，另有私有/商业子集。 任务解决率。
SWE-bench Pro 的结果可靠吗？
本站未采集（没有开放数据文件）。OpenAI 先推荐用它替代 Verified，之后估计约 30% 的题目有问题，又撤回了推荐。 数据污染风险: 中 – 私有子集可减少污染，公开子集仍有暴露风险。