MODEL BENCHMARKS
購入依頼を公開 ↗AIモデルランキング
能力の違いを確認し、合う AI リソースを選びましょう。
EvalPlus · コーディング能力
過去の基準 · ソースは 60 日以上未更新で、現在の順位ではありません
ソース更新 2024-12-26取得日 2026-10-27データセット公開日 非開示
HumanEval+ · pass@1 · 版本 0.1.10 · スコアは0～100で、高いほど良好です。欠損スコアは順位対象外、同点は同順位です。検索後も元の順位を維持します。
| 順位 | モデルとバージョン | スコア | 証拠の種類 |
|---|---|---|---|
| 1 | O1 Mini (Sept 2024)对话提示モデル説明 ↗ | 89.0 | ランキング掲載 |
| 1 | O1 Preview (Sept 2024)对话提示モデル説明 ↗ | 89.0 | ランキング掲載 |
| 3 | GPT 4o (Aug 2024)对话提示モデル説明 ↗ | 87.2 | ランキング掲載 |
| 3 | Qwen2.5-Coder-32B-Instruct对话提示モデル説明 ↗ | 87.2 | ランキング掲載 |
| 5 | DeepSeek-V3 (Nov 2024)对话提示モデル説明 ↗ | 86.6 | ランキング掲載 |
| 5 | GPT-4-Turbo (April 2024)对话提示モデル説明 ↗ | 86.6 | ランキング掲載 |
| 7 | DeepSeek-V2.5 (Nov 2024)对话提示モデル説明 ↗ | 83.5 | ランキング掲載 |
| 7 | GPT 4o Mini (July 2024)对话提示モデル説明 ↗ | 83.5 | ランキング掲載 |
| 9 | DeepSeek-Coder-V2-Instruct对话提示モデル説明 ↗ | 82.3 | ランキング掲載 |
| 10 | Claude Sonnet 3.5 (June 2024)对话提示モデル説明 ↗ | 81.7 | ランキング掲載 |
| 10 | GPT-4-Turbo (Nov 2023)对话提示モデル説明 ↗ | 81.7 | ランキング掲載 |
| 12 | Grok Beta对话提示モデル説明 ↗ | 80.5 | ランキング掲載 |
| 13 | GPT-4 (May 2023)对话提示モデル説明 ↗ | 79.3 | ランキング掲載 |
| 13 | Gemini 1.5 Pro 002对话提示モデル説明 ↗ | 79.3 | ランキング掲載 |
| 15 | CodeQwen1.5-7B-Chat对话提示モデル説明 ↗ | 78.7 | ランキング掲載 |
| 16 | OpenCoder-8B-Instruct对话提示モデル説明 ↗ | 77.4 | ランキング掲載 |
| 16 | claude-3-opus (Mar 2024)对话提示モデル説明 ↗ | 77.4 | ランキング掲載 |
| 18 | Gemini 1.5 Flash 002对话提示モデル説明 ↗ | 75.6 | ランキング掲載 |
| 19 | DeepSeek-Coder-33B-instruct对话提示モデル説明 ↗ | 75.0 | ランキング掲載 |
| 20 | Codestral-22B-v0.1对话提示モデル説明 ↗ | 73.8 | ランキング掲載 |
| 20 | OpenCodeInterpreter-DS-33B对话提示モデル説明 ↗ | 73.8 | ランキング掲載 |
| 22 | WizardCoder-33B-V1.1对话提示モデル説明 ↗ | 73.2 | ランキング掲載 |
| 23 | Artigenz-Coder-DS-6.7B对话提示モデル説明 ↗ | 72.6 | ランキング掲載 |
| 24 | Llama3-70B-instruct对话提示モデル説明 ↗ | 72.0 | ランキング掲載 |
| 24 | Mixtral-8x22B-Instruct-v0.1对话提示モデル説明 ↗ | 72.0 | ランキング掲載 |
ソース証拠と評価基準
ソース：EvalPlus · コーディング能力 · Apache-2.0。原スコアに基づいて整理しています。評価間の総合スコアは作成せず、掲載を独立した再検証とみなしません。
帰属：EvalPlus contributors。スコアは EvalPlus に基づきます。原プロジェクトは Apache License 2.0 で提供され、ライセンスと通知を保持します。データは現状のまま、保証なく表示します。 このソース版のライセンスと帰属
ソーススナップショット：9d8bdc12001f459cb5b3e8642f6a2f4f · ソース commit：4ebfa0d4b62edb942232c723b9d1641fe1d24780 · 原文 SHA-256：e6837dc3b94f32cb1da0ced012e52edc4a722007b684df5b63da029bbd3b46d2
管理者が必要に応じ取得・審査・公開します。リアルタイム更新ではなく、非公開の評価バージョンは推測しません。EvalPlusはgreedy decodingのpass@1です；評価軸やテスト設定が異なる結果は直接比較できません。