Clasificación de modelos de IA
Conozca las diferencias de capacidades para elegir recursos de IA.
EvalPlus · Programación
Referencia histórica · fuente sin actualizar durante más de 60 días, no representa la clasificación actual
HumanEval+ · pass@1 · 版本 0.1.10 · Puntuaciones de 0 a 100, cuanto mayor mejor; se excluyen las ausentes y se comparten los puestos empatados. La búsqueda conserva el puesto original.
| Clasificación | Modelo y versión | Puntuación | Tipo de evidencia |
|---|---|---|---|
| 1 | O1 Mini (Sept 2024)对话提示Acerca del modelo ↗ | 89,0 | Incluido en la clasificación |
| 1 | O1 Preview (Sept 2024)对话提示Acerca del modelo ↗ | 89,0 | Incluido en la clasificación |
| 3 | GPT 4o (Aug 2024)对话提示Acerca del modelo ↗ | 87,2 | Incluido en la clasificación |
| 3 | Qwen2.5-Coder-32B-Instruct对话提示Acerca del modelo ↗ | 87,2 | Incluido en la clasificación |
| 5 | DeepSeek-V3 (Nov 2024)对话提示Acerca del modelo ↗ | 86,6 | Incluido en la clasificación |
| 5 | GPT-4-Turbo (April 2024)对话提示Acerca del modelo ↗ | 86,6 | Incluido en la clasificación |
| 7 | DeepSeek-V2.5 (Nov 2024)对话提示Acerca del modelo ↗ | 83,5 | Incluido en la clasificación |
| 7 | GPT 4o Mini (July 2024)对话提示Acerca del modelo ↗ | 83,5 | Incluido en la clasificación |
| 9 | DeepSeek-Coder-V2-Instruct对话提示Acerca del modelo ↗ | 82,3 | Incluido en la clasificación |
| 10 | Claude Sonnet 3.5 (June 2024)对话提示Acerca del modelo ↗ | 81,7 | Incluido en la clasificación |
| 10 | GPT-4-Turbo (Nov 2023)对话提示Acerca del modelo ↗ | 81,7 | Incluido en la clasificación |
| 12 | Grok Beta对话提示Acerca del modelo ↗ | 80,5 | Incluido en la clasificación |
| 13 | GPT-4 (May 2023)对话提示Acerca del modelo ↗ | 79,3 | Incluido en la clasificación |
| 13 | Gemini 1.5 Pro 002对话提示Acerca del modelo ↗ | 79,3 | Incluido en la clasificación |
| 15 | CodeQwen1.5-7B-Chat对话提示Acerca del modelo ↗ | 78,7 | Incluido en la clasificación |
| 16 | OpenCoder-8B-Instruct对话提示Acerca del modelo ↗ | 77,4 | Incluido en la clasificación |
| 16 | claude-3-opus (Mar 2024)对话提示Acerca del modelo ↗ | 77,4 | Incluido en la clasificación |
| 18 | Gemini 1.5 Flash 002对话提示Acerca del modelo ↗ | 75,6 | Incluido en la clasificación |
| 19 | DeepSeek-Coder-33B-instruct对话提示Acerca del modelo ↗ | 75,0 | Incluido en la clasificación |
| 20 | Codestral-22B-v0.1对话提示Acerca del modelo ↗ | 73,8 | Incluido en la clasificación |
| 20 | OpenCodeInterpreter-DS-33B对话提示Acerca del modelo ↗ | 73,8 | Incluido en la clasificación |
| 22 | WizardCoder-33B-V1.1对话提示Acerca del modelo ↗ | 73,2 | Incluido en la clasificación |
| 23 | Artigenz-Coder-DS-6.7B对话提示Acerca del modelo ↗ | 72,6 | Incluido en la clasificación |
| 24 | Llama3-70B-instruct对话提示Acerca del modelo ↗ | 72,0 | Incluido en la clasificación |
| 24 | Mixtral-8x22B-Instruct-v0.1对话提示Acerca del modelo ↗ | 72,0 | Incluido en la clasificación |
Evidencias de fuente y método de evaluación
Fuente:EvalPlus · Programación · Apache-2.0. Se presentan las puntuaciones originales, sin combinar evaluaciones. La inclusión no constituye una verificación independiente.
Atribución: colaboradores de EvalPlus. Puntuaciones de EvalPlus; proyecto original bajo Apache License 2.0. Se conservan licencia y avisos; datos tal cual, sin garantía. Licencia y atribución de esta versión de fuente
Instantánea de fuente:9d8bdc12001f459cb5b3e8642f6a2f4f · Commit de origen：4ebfa0d4b62edb942232c723b9d1641fe1d24780 · SHA-256 del contenido original:e6837dc3b94f32cb1da0ced012e52edc4a722007b684df5b63da029bbd3b46d2
Obtenido bajo demanda y publicado tras revisión; sin tiempo real. No se infieren versiones no divulgadas.EvalPlus: pass@1 con decodificación voraz;Las distintas dimensiones y configuraciones de prueba no son directamente comparables.