Classement des modèles IA
Comprenez les différences de capacités pour choisir vos ressources IA.
EvalPlus · Programmation
Référence historique · source non mise à jour depuis plus de 60 jours, sans valeur de classement actuel
HumanEval+ · pass@1 · 版本 0.1.10 · Scores de 0 à 100, plus élevés = meilleurs ; les scores absents sont exclus, les ex æquo partagent un rang. La recherche conserve les rangs d’origine.
| Classement | Modèle et version | Score | Type de preuve |
|---|---|---|---|
| 1 | O1 Mini (Sept 2024)对话提示À propos du modèle ↗ | 89,0 | Répertorié au classement |
| 1 | O1 Preview (Sept 2024)对话提示À propos du modèle ↗ | 89,0 | Répertorié au classement |
| 3 | GPT 4o (Aug 2024)对话提示À propos du modèle ↗ | 87,2 | Répertorié au classement |
| 3 | Qwen2.5-Coder-32B-Instruct对话提示À propos du modèle ↗ | 87,2 | Répertorié au classement |
| 5 | DeepSeek-V3 (Nov 2024)对话提示À propos du modèle ↗ | 86,6 | Répertorié au classement |
| 5 | GPT-4-Turbo (April 2024)对话提示À propos du modèle ↗ | 86,6 | Répertorié au classement |
| 7 | DeepSeek-V2.5 (Nov 2024)对话提示À propos du modèle ↗ | 83,5 | Répertorié au classement |
| 7 | GPT 4o Mini (July 2024)对话提示À propos du modèle ↗ | 83,5 | Répertorié au classement |
| 9 | DeepSeek-Coder-V2-Instruct对话提示À propos du modèle ↗ | 82,3 | Répertorié au classement |
| 10 | Claude Sonnet 3.5 (June 2024)对话提示À propos du modèle ↗ | 81,7 | Répertorié au classement |
| 10 | GPT-4-Turbo (Nov 2023)对话提示À propos du modèle ↗ | 81,7 | Répertorié au classement |
| 12 | Grok Beta对话提示À propos du modèle ↗ | 80,5 | Répertorié au classement |
| 13 | GPT-4 (May 2023)对话提示À propos du modèle ↗ | 79,3 | Répertorié au classement |
| 13 | Gemini 1.5 Pro 002对话提示À propos du modèle ↗ | 79,3 | Répertorié au classement |
| 15 | CodeQwen1.5-7B-Chat对话提示À propos du modèle ↗ | 78,7 | Répertorié au classement |
| 16 | OpenCoder-8B-Instruct对话提示À propos du modèle ↗ | 77,4 | Répertorié au classement |
| 16 | claude-3-opus (Mar 2024)对话提示À propos du modèle ↗ | 77,4 | Répertorié au classement |
| 18 | Gemini 1.5 Flash 002对话提示À propos du modèle ↗ | 75,6 | Répertorié au classement |
| 19 | DeepSeek-Coder-33B-instruct对话提示À propos du modèle ↗ | 75,0 | Répertorié au classement |
| 20 | Codestral-22B-v0.1对话提示À propos du modèle ↗ | 73,8 | Répertorié au classement |
| 20 | OpenCodeInterpreter-DS-33B对话提示À propos du modèle ↗ | 73,8 | Répertorié au classement |
| 22 | WizardCoder-33B-V1.1对话提示À propos du modèle ↗ | 73,2 | Répertorié au classement |
| 23 | Artigenz-Coder-DS-6.7B对话提示À propos du modèle ↗ | 72,6 | Répertorié au classement |
| 24 | Llama3-70B-instruct对话提示À propos du modèle ↗ | 72,0 | Répertorié au classement |
| 24 | Mixtral-8x22B-Instruct-v0.1对话提示À propos du modèle ↗ | 72,0 | Répertorié au classement |
Preuves de source et méthode d’évaluation
Source :EvalPlus · Programmation · Apache-2.0. Les résultats reprennent les scores d’origine, sans score global inter-évaluations. Être répertorié ne constitue pas une vérification indépendante.
Attribution : contributeurs EvalPlus. Scores issus d’EvalPlus ; projet original sous Apache License 2.0. Licence et mentions conservées ; données fournies telles quelles, sans garantie. Licence et attribution de cette version source
Instantané de source :9d8bdc12001f459cb5b3e8642f6a2f4f · Commit source：4ebfa0d4b62edb942232c723b9d1641fe1d24780 · SHA-256 du contenu original :e6837dc3b94f32cb1da0ced012e52edc4a722007b684df5b63da029bbd3b46d2
Récupéré à la demande et publié après validation ; sans temps réel. Les versions non précisées ne sont pas déduites.EvalPlus : pass@1 en décodage glouton ;Les dimensions et configurations de test différentes ne sont pas directement comparables.