编程 · %
HumanEval / HumanEval+
OpenAI 2021 年发布的 164 道 Python 函数题。EvalPlus 为每题补充大量测试（HumanEval+），能识别“通过原测试但其实是错的”答案。
测什么
HumanEval 与 HumanEval+ 的 pass@1（贪心解码）。
局限
已饱和且污染严重；单个短函数说明不了真实开发能力。EvalPlus 榜单最后更新于 2024 年 12 月。
数据污染风险: 高
题目和答案在 GitHub 上随处可见。
排行 · 子集 / 设定: humaneval-plus
前 100 名（共 122 条）
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | O1 Preview (Sept 2024) | OpenAI | 89.0% | 1 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 2 | O1 Mini (Sept 2024) | OpenAI | 89.0% | 1 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 3 | Qwen2.5-Coder-32B-InstructOW | Alibaba (Qwen) | 87.2% | 3 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 4 | GPT-4o (Aug 2024) | OpenAI | 87.2% | 3 | HumanEval+ (extended tests), pass@1 greedy“GPT 4o (Aug 2024)” | 官方榜单 | 2024年12月26日 |
| 5 | DeepSeek-V3 (Nov 2024)OW | DeepSeek | 86.6% | 5 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 6 | GPT-4-Turbo (April 2024) | OpenAI | 86.6% | 5 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 7 | DeepSeek-V2.5 (Nov 2024)OW | DeepSeek | 83.5% | 7 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 8 | GPT 4o Mini (July 2024) | OpenAI | 83.5% | 7 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 9 | DeepSeek-Coder-V2 236BOW | DeepSeek | 82.3% | 9 | HumanEval+ (extended tests), pass@1 greedy“DeepSeek-Coder-V2-Instruct” | 官方榜单 | 2024年12月26日 |
| 10 | Claude Sonnet 3.5 (June 2024) | Anthropic | 81.7% | 10 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 11 | GPT-4 Turbo (Nov 2023) | OpenAI | 81.7% | 10 | HumanEval+ (extended tests), pass@1 greedy“GPT-4-Turbo (Nov 2023)” | 官方榜单 | 2024年12月26日 |
| 12 | Grok Beta | xAI | 80.5% | 12 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 13 | Gemini 1.5 Pro (Sept 2024) | 79.3% | 13 | HumanEval+ (extended tests), pass@1 greedy“Gemini 1.5 Pro 002” | 官方榜单 | 2024年12月26日 | |
| 14 | GPT-4 (May 2023) | OpenAI | 79.3% | 13 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 15 | CodeQwen1.5-7B-ChatOW | Alibaba (Qwen) | 78.7% | 15 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 16 | OpenCoder-8B-InstructOW | — | 77.4% | 16 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 17 | claude-3-opus (Mar 2024) | Anthropic | 77.4% | 16 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 18 | Gemini 1.5 Flash (Sep 2024) | 75.6% | 18 | HumanEval+ (extended tests), pass@1 greedy“Gemini 1.5 Flash 002” | 官方榜单 | 2024年12月26日 | |
| 19 | Codestral-22B-v0.1OW | Mistral AI | 73.8% | 19 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 20 | OpenCodeInterpreter-DS-33BOW | — | 73.8% | 19 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 21 | WizardCoder-33B-V1.1OW | WizardLM | 73.2% | 21 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 22 | Artigenz-Coder-DS-6.7BOW | — | 72.6% | 22 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 23 | Llama3-70B-instructOW | Meta | 72.0% | 23 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 24 | Mixtral 8x22BOW | Mistral AI | 72.0% | 23 | HumanEval+ (extended tests), pass@1 greedy“Mixtral-8x22B-Instruct-v0.1” | 官方榜单 | 2024年12月26日 |
| 25 | OpenCodeInterpreter-DS-6.7BOW | — | 72.0% | 23 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 26 | speechless-codellama-34B-v2.0OW | — | 72.0% | 23 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 27 | DeepSeek-Coder-7B-instruct-v1.5OW | DeepSeek | 71.3% | 27 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 28 | Magicoder-S-DS-6.7BOW | — | 71.3% | 27 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 29 | starchat2-15b-v0.1OW | — | 71.3% | 27 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 30 | GPT-3.5 Turbo (Nov 2023) | OpenAI | 70.7% | 30 | HumanEval+ (extended tests), pass@1 greedy“GPT-3.5-Turbo (Nov 2023)” | 官方榜单 | 2024年12月26日 |
| 31 | code-millenials-34BOW | — | 70.7% | 30 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 32 | DBRXOW | Databricks | 70.1% | 32 | HumanEval+ (extended tests), pass@1 greedy“databricks/dbrx-instruct” | 官方榜单 | 2024年12月26日 |
| 33 | WaveCoder-Ultra-6.7BOW | — | 69.5% | 33 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 34 | XwinCoder-34BOW | — | 69.5% | 33 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 35 | claude-3-haiku (Mar 2024) | Anthropic | 68.9% | 35 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 36 | Magicoder-S-CL-7BOW | — | 67.7% | 36 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 37 | OpenChat-3.5-7B-0106OW | — | 67.7% | 36 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 38 | Phind-CodeLlama-34B-v2OW | — | 67.1% | 38 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 39 | GPT-3.5 (May 2023) | OpenAI | 66.5% | 39 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 40 | codellama-70b-instructOW | Meta | 65.9% | 40 | HumanEval+ (extended tests), pass@1 greedy“CodeLlama-70B-Instruct” | 官方榜单 | 2024年12月26日 |
| 41 | WhiteRabbitNeo-33B-v1OW | — | 65.9% | 40 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 42 | speechless-coder-ds-6.7BOW | — | 65.9% | 40 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 43 | WizardCoder-Python-34B-V1.0OW | WizardLM | 64.6% | 43 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 44 | claude-3-sonnet (Mar 2024) | Anthropic | 64.0% | 44 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 45 | Llama3.1-8B-instructOW | Meta | 62.8% | 45 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 46 | speechless-starcoder2-15bOW | — | 62.8% | 45 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 47 | Mistral Large (Mar 2024) | Mistral AI | 62.2% | 47 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 48 | claude-2 (Mar 2024) | Anthropic | 61.6% | 48 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 49 | Gemini Pro 1.5 | 61.0% | 49 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 50 | starcoder2-15b-instruct-v0.1OW | BigCode | 60.4% | 50 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 51 | Code-290k-6.7B-InstructOW | — | 59.7% | 51 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 52 | Qwen1.5-72BOW | Alibaba (Qwen) | 59.1% | 52 | HumanEval+ (extended tests), pass@1 greedy“Qwen1.5-72B-Chat” | 官方榜单 | 2024年12月26日 |
| 53 | phi-3-mini 3.8BOW | Microsoft | 59.1% | 52 | HumanEval+ (extended tests), pass@1 greedy“Phi-3-mini-4k-instruct” | 官方榜单 | 2024年12月26日 |
| 54 | dolphin-2.6-mixtral-8x7bOW | — | 57.3% | 54 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 55 | Command R+OW | Cohere | 56.7% | 55 | HumanEval+ (extended tests), pass@1 greedy“Command-R+” | 官方榜单 | 2024年12月26日 |
| 56 | Llama3-8B-instructOW | Meta | 56.7% | 55 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 57 | Gemini Pro 1.0 | 55.5% | 57 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 58 | Code-13BOW | — | 52.4% | 58 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 59 | codegemma-7b-itOW | 51.8% | 59 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 60 | speechless-starcoder2-7bOW | — | 51.8% | 59 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 61 | CodeLlama-70BOW | Meta | 50.6% | 61 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 62 | WizardCoder-15B-V1.0OW | WizardLM | 50.6% | 61 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 63 | claude-instant-1 (Mar 2024) | Anthropic | 50.6% | 61 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 64 | speechless-coding-7B-16k-toraOW | — | 50.6% | 61 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 65 | Code-33BOW | — | 49.4% | 65 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 66 | OpenHermes-2.5-Code-290k-13BOW | — | 48.8% | 66 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 67 | CodeQwen1.5-7BOW | Alibaba (Qwen) | 45.7% | 67 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 68 | WizardCoder-Python-7B-V1.0OW | WizardLM | 45.1% | 68 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 69 | phi-2-2.7BOW | Microsoft | 45.1% | 68 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 70 | DeepSeek Coder 33BOW | DeepSeek | 44.5% | 70 | HumanEval+ (extended tests), pass@1 greedy“DeepSeek-Coder-33B-base” | 官方榜单 | 2024年12月26日 |
| 71 | CodeLlama-34B | Meta | 43.9% | 71 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 72 | Mistral-codealpaca-7BOW | Mistral AI | 42.1% | 72 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 73 | MistralHermes-CodePro-7B-v1OW | Mistral AI | 42.1% | 72 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 74 | codegemma-7bOW | 41.5% | 74 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 75 | speechless-code-mistral-7B-v1.0OW | — | 41.5% | 74 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 76 | DeepSeek Coder 6.7BOW | DeepSeek | 39.6% | 76 | HumanEval+ (extended tests), pass@1 greedy“DeepSeek-Coder-6.7B-base” | 官方榜单 | 2024年12月26日 |
| 77 | Mixtral 8x7BOW | Mistral AI | 39.6% | 76 | HumanEval+ (extended tests), pass@1 greedy“Mixtral-8x7B-Instruct-v0.1” | 官方榜单 | 2024年12月26日 |
| 78 | CodeLlama-13B | Meta | 38.4% | 78 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 79 | StarCoder 2 15BOW | Hugging Face | 37.8% | 79 | HumanEval+ (extended tests), pass@1 greedy“StarCoder2-15B” | 官方榜单 | 2024年12月26日 |
| 80 | solar-10.7b-instruct-v1.0OW | upstage | 37.2% | 80 | HumanEval+ (extended tests), pass@1 greedy“SOLAR-10.7B-Instruct-v1.0” | 官方榜单 | 2024年12月26日 |
| 81 | Mistral 7B v0.2OW | Mistral AI | 36.0% | 81 | HumanEval+ (extended tests), pass@1 greedy“Mistral-7B-Instruct-v0.2” | 官方榜单 | 2024年12月26日 |
| 82 | CodeLlama-7B | Meta | 35.4% | 82 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 83 | gemma-1.1-7b-itOW | 35.4% | 82 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 84 | xDAN-L1-Chat-RL-v1-7BOW | — | 32.9% | 84 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 85 | Python-Code-13BOW | — | 30.5% | 85 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 86 | StarCoder 2 7BOW | Hugging Face | 29.9% | 86 | HumanEval+ (extended tests), pass@1 greedy“StarCoder2-7B” | 官方榜单 | 2024年12月26日 |
| 87 | Llama3-8B-baseOW | Meta | 29.3% | 87 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 88 | StarCoder-15BOW | BigCode | 29.3% | 87 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 89 | Gemma 7BOW | 28.7% | 89 | HumanEval+ (extended tests), pass@1 greedy“gemma-7b” | 官方榜单 | 2024年12月26日 | |
| 90 | CodeGen-16B | — | 28.0% | 90 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 91 | StarCoder 2 3BOW | Hugging Face | 27.4% | 91 | HumanEval+ (extended tests), pass@1 greedy“StarCoder2-3B” | 官方榜单 | 2024年12月26日 |
| 92 | CodeT5+-16B | — | 26.8% | 92 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 93 | CodeGen-6B | — | 25.6% | 93 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 94 | DeepSeek Coder 1.3BOW | DeepSeek | 25.6% | 93 | HumanEval+ (extended tests), pass@1 greedy“DeepSeek-Coder-1.3B-base” | 官方榜单 | 2024年12月26日 |
| 95 | stable-code-3BOW | — | 25.6% | 93 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 96 | gemma-7b-itOW | 25.0% | 96 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 97 | CodeT5+-6B | — | 24.4% | 97 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 98 | Mistral-7B | Mistral AI | 23.8% | 98 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 99 | Zephyr β-7BOW | Hugging Face | 23.2% | 99 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 100 | CodeGen-2B | — | 22.6% | 100 | HumanEval+ (extended tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
排行 · 子集 / 设定: humaneval
前 100 名（共 122 条）
| # | 模型 | 厂商 | 分数 | 名次 | 设定 | 来源类型 | 日期 |
|---|---|---|---|---|---|---|---|
| 1 | O1 Preview (Sept 2024) | OpenAI | 96.3% | 1 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 2 | O1 Mini (Sept 2024) | OpenAI | 96.3% | 1 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 3 | GPT-4o (Aug 2024) | OpenAI | 92.7% | 3 | HumanEval (base tests), pass@1 greedy“GPT 4o (Aug 2024)” | 官方榜单 | 2024年12月26日 |
| 4 | Qwen2.5-Coder-32B-InstructOW | Alibaba (Qwen) | 92.1% | 4 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 5 | DeepSeek-V3 (Nov 2024)OW | DeepSeek | 91.5% | 5 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 6 | DeepSeek-V2.5 (Nov 2024)OW | DeepSeek | 90.2% | 6 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 7 | GPT-4-Turbo (April 2024) | OpenAI | 90.2% | 6 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 8 | Gemini 1.5 Pro (Sept 2024) | 89.0% | 8 | HumanEval (base tests), pass@1 greedy“Gemini 1.5 Pro 002” | 官方榜单 | 2024年12月26日 | |
| 9 | Grok Beta | xAI | 88.4% | 9 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 10 | GPT 4o Mini (July 2024) | OpenAI | 88.4% | 9 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 11 | GPT-4 (May 2023) | OpenAI | 88.4% | 9 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 12 | Claude Sonnet 3.5 (June 2024) | Anthropic | 87.2% | 12 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 13 | DeepSeek-Coder-V2 236BOW | DeepSeek | 85.4% | 13 | HumanEval (base tests), pass@1 greedy“DeepSeek-Coder-V2-Instruct” | 官方榜单 | 2024年12月26日 |
| 14 | GPT-4 Turbo (Nov 2023) | OpenAI | 85.4% | 13 | HumanEval (base tests), pass@1 greedy“GPT-4-Turbo (Nov 2023)” | 官方榜单 | 2024年12月26日 |
| 15 | CodeQwen1.5-7B-ChatOW | Alibaba (Qwen) | 83.5% | 15 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 16 | claude-3-opus (Mar 2024) | Anthropic | 82.9% | 16 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 17 | Gemini 1.5 Flash (Sep 2024) | 82.3% | 17 | HumanEval (base tests), pass@1 greedy“Gemini 1.5 Flash 002” | 官方榜单 | 2024年12月26日 | |
| 18 | OpenCoder-8B-InstructOW | — | 81.7% | 18 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 19 | Codestral-22B-v0.1OW | Mistral AI | 79.9% | 19 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 20 | WizardCoder-33B-V1.1OW | WizardLM | 79.9% | 19 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 21 | OpenCodeInterpreter-DS-33BOW | — | 79.3% | 21 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 22 | Llama3-70B-instructOW | Meta | 77.4% | 22 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 23 | OpenCodeInterpreter-DS-6.7BOW | — | 77.4% | 22 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 24 | speechless-codellama-34B-v2.0OW | — | 77.4% | 22 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 25 | GPT-3.5 Turbo (Nov 2023) | OpenAI | 76.8% | 25 | HumanEval (base tests), pass@1 greedy“GPT-3.5-Turbo (Nov 2023)” | 官方榜单 | 2024年12月26日 |
| 26 | Magicoder-S-DS-6.7BOW | — | 76.8% | 25 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 27 | claude-3-haiku (Mar 2024) | Anthropic | 76.8% | 25 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 28 | Mixtral 8x22BOW | Mistral AI | 76.2% | 28 | HumanEval (base tests), pass@1 greedy“Mixtral-8x22B-Instruct-v0.1” | 官方榜单 | 2024年12月26日 |
| 29 | Artigenz-Coder-DS-6.7BOW | — | 75.6% | 29 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 30 | DeepSeek-Coder-7B-instruct-v1.5OW | DeepSeek | 75.6% | 29 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 31 | XwinCoder-34BOW | — | 75.6% | 29 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 32 | WaveCoder-Ultra-6.7BOW | — | 75.0% | 32 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 33 | DBRXOW | Databricks | 75.0% | 32 | HumanEval (base tests), pass@1 greedy“databricks/dbrx-instruct” | 官方榜单 | 2024年12月26日 |
| 34 | code-millenials-34BOW | — | 74.4% | 34 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 35 | starchat2-15b-v0.1OW | — | 73.8% | 35 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 36 | GPT-3.5 (May 2023) | OpenAI | 73.2% | 36 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 37 | WizardCoder-Python-34B-V1.0OW | WizardLM | 73.2% | 36 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 38 | OpenChat-3.5-7B-0106OW | — | 72.6% | 38 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 39 | codellama-70b-instructOW | Meta | 72.0% | 39 | HumanEval (base tests), pass@1 greedy“CodeLlama-70B-Instruct” | 官方榜单 | 2024年12月26日 |
| 40 | WhiteRabbitNeo-33B-v1OW | — | 72.0% | 39 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 41 | Phind-CodeLlama-34B-v2OW | — | 71.3% | 41 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 42 | speechless-coder-ds-6.7BOW | — | 71.3% | 41 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 43 | Magicoder-S-CL-7BOW | — | 70.7% | 43 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 44 | claude-3-sonnet (Mar 2024) | Anthropic | 70.7% | 43 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 45 | Llama3.1-8B-instructOW | Meta | 69.5% | 45 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 46 | Mistral Large (Mar 2024) | Mistral AI | 69.5% | 45 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 47 | claude-2 (Mar 2024) | Anthropic | 69.5% | 45 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 48 | Qwen1.5-72BOW | Alibaba (Qwen) | 68.3% | 48 | HumanEval (base tests), pass@1 greedy“Qwen1.5-72B-Chat” | 官方榜单 | 2024年12月26日 |
| 49 | Gemini Pro 1.5 | 68.3% | 48 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 50 | starcoder2-15b-instruct-v0.1OW | BigCode | 67.7% | 50 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 51 | speechless-starcoder2-15bOW | — | 67.1% | 51 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 52 | Code-290k-6.7B-InstructOW | — | 64.6% | 52 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 53 | phi-3-mini 3.8BOW | Microsoft | 64.6% | 52 | HumanEval (base tests), pass@1 greedy“Phi-3-mini-4k-instruct” | 官方榜单 | 2024年12月26日 |
| 54 | Command R+OW | Cohere | 64.0% | 54 | HumanEval (base tests), pass@1 greedy“Command-R+” | 官方榜单 | 2024年12月26日 |
| 55 | dolphin-2.6-mixtral-8x7bOW | — | 64.0% | 54 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 56 | Gemini Pro 1.0 | 63.4% | 56 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 57 | Llama3-8B-instructOW | Meta | 61.6% | 57 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 58 | codegemma-7b-itOW | 60.4% | 58 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 59 | claude-instant-1 (Mar 2024) | Anthropic | 57.3% | 59 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 60 | WizardCoder-15B-V1.0OW | WizardLM | 56.7% | 60 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 61 | Code-13BOW | — | 56.1% | 61 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 62 | speechless-starcoder2-7bOW | — | 56.1% | 61 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 63 | CodeLlama-70BOW | Meta | 55.5% | 63 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 64 | Code-33BOW | — | 54.9% | 64 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 65 | speechless-coding-7B-16k-toraOW | — | 54.9% | 64 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 66 | OpenHermes-2.5-Code-290k-13BOW | — | 54.3% | 66 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 67 | CodeLlama-34B | Meta | 51.8% | 67 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 68 | CodeQwen1.5-7BOW | Alibaba (Qwen) | 51.8% | 67 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 69 | DeepSeek Coder 33BOW | DeepSeek | 51.2% | 69 | HumanEval (base tests), pass@1 greedy“DeepSeek-Coder-33B-base” | 官方榜单 | 2024年12月26日 |
| 70 | WizardCoder-Python-7B-V1.0OW | WizardLM | 50.6% | 70 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 71 | phi-2-2.7BOW | Microsoft | 49.4% | 71 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 72 | Mistral-codealpaca-7BOW | Mistral AI | 48.2% | 72 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 73 | speechless-code-mistral-7B-v1.0OW | — | 48.2% | 72 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 74 | DeepSeek Coder 6.7BOW | DeepSeek | 47.6% | 74 | HumanEval (base tests), pass@1 greedy“DeepSeek-Coder-6.7B-base” | 官方榜单 | 2024年12月26日 |
| 75 | MistralHermes-CodePro-7B-v1OW | Mistral AI | 47.6% | 74 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 76 | StarCoder 2 15BOW | Hugging Face | 46.3% | 76 | HumanEval (base tests), pass@1 greedy“StarCoder2-15B” | 官方榜单 | 2024年12月26日 |
| 77 | Mixtral 8x7BOW | Mistral AI | 45.1% | 77 | HumanEval (base tests), pass@1 greedy“Mixtral-8x7B-Instruct-v0.1” | 官方榜单 | 2024年12月26日 |
| 78 | codegemma-7bOW | 44.5% | 78 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 79 | solar-10.7b-instruct-v1.0OW | upstage | 43.3% | 79 | HumanEval (base tests), pass@1 greedy“SOLAR-10.7B-Instruct-v1.0” | 官方榜单 | 2024年12月26日 |
| 80 | CodeLlama-13B | Meta | 42.7% | 80 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 81 | gemma-1.1-7b-itOW | 42.7% | 80 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 82 | Mistral 7B v0.2OW | Mistral AI | 42.1% | 82 | HumanEval (base tests), pass@1 greedy“Mistral-7B-Instruct-v0.2” | 官方榜单 | 2024年12月26日 |
| 83 | xDAN-L1-Chat-RL-v1-7BOW | — | 40.2% | 83 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 84 | CodeLlama-7B | Meta | 37.8% | 84 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 85 | StarCoder 2 7BOW | Hugging Face | 35.4% | 85 | HumanEval (base tests), pass@1 greedy“StarCoder2-7B” | 官方榜单 | 2024年12月26日 |
| 86 | Gemma 7BOW | 35.4% | 85 | HumanEval (base tests), pass@1 greedy“gemma-7b” | 官方榜单 | 2024年12月26日 | |
| 87 | StarCoder-15BOW | BigCode | 34.1% | 87 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 88 | Llama3-8B-baseOW | Meta | 33.5% | 88 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 89 | CodeGen-16B | — | 32.9% | 89 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 90 | Python-Code-13BOW | — | 32.9% | 89 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 91 | CodeT5+-16B | — | 31.7% | 91 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 92 | StarCoder 2 3BOW | Hugging Face | 31.7% | 91 | HumanEval (base tests), pass@1 greedy“StarCoder2-3B” | 官方榜单 | 2024年12月26日 |
| 93 | Zephyr β-7BOW | Hugging Face | 30.0% | 93 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 94 | CodeGen-6B | — | 29.3% | 94 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 95 | CodeT5+-6B | — | 29.3% | 94 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 96 | stable-code-3BOW | — | 29.3% | 94 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 97 | DeepSeek Coder 1.3BOW | DeepSeek | 28.7% | 97 | HumanEval (base tests), pass@1 greedy“DeepSeek-Coder-1.3B-base” | 官方榜单 | 2024年12月26日 |
| 98 | Mistral-7B | Mistral AI | 28.7% | 97 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
| 99 | gemma-7b-itOW | 28.7% | 97 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 | |
| 100 | codegemma-2bOW | 26.8% | 100 | HumanEval (base tests), pass@1 greedy | 官方榜单 | 2024年12月26日 |
数据来源与许可
| 来源 | 许可 / 条款 | 本站使用方式 | 最近抓取 |
|---|---|---|---|
| EvalPlus leaderboard EvalPlus team, evalplus.github.io | Apache-2.0 (site repo) | 开放许可：完整收录并署名 | 2026年10月22日 |
常见问题
HumanEval / HumanEval+ 测的是什么？
OpenAI 2021 年发布的 164 道 Python 函数题。EvalPlus 为每题补充大量测试（HumanEval+），能识别“通过原测试但其实是错的”答案。 HumanEval 与 HumanEval+ 的 pass@1（贪心解码）。
HumanEval / HumanEval+ 的结果可靠吗？
已饱和且污染严重；单个短函数说明不了真实开发能力。EvalPlus 榜单最后更新于 2024 年 12 月。 数据污染风险: 高 – 题目和答案在 GitHub 上随处可见。