AI模型基准测试
标准: 36 · HF: 22
关于基准测试
基准测试是标准化测试,用于评估 AI 模型在推理、知识、数学和编程方面的表现。借助它们可以客观比较模型,并为任务选择合适的模型。
📊 标准. 标准 - 四个最常被引用的公开基准(MMLU、GPQA、HumanEval、SWE-Bench),取自各模型的发布页;我们的评分将其汇总为一个数值。
🤗 HF开放LLM排行榜. HF Open LLM Leaderboard - 对开源模型统一测量的六项任务(IFEval、BBH、MATH、GPQA、MuSR、MMLU-Pro),按平均分排名。
📚MMLU
57个学术科目
🔬GPQA Diamond
博士级科学问题
💻HumanEval
Python代码生成
🔧SWE-Bench
真实GitHub工程任务
| # | 模型↕ | 提供商↕ | MMLU↕ | GPQA↕ | HumanEval↕ | SWE-Bench↕ | 评分↓ |
|---|---|---|---|---|---|---|---|
| 1 | DeepSeek | 90.8 | 71.5 | 92.6 | 49.2 | 75.1 | |
| 2 | DeepSeek | 88.5 | 59.1 | 89.4 | 42.0 | 68.3 | |
| 3 | Meta | 88.6 | 50.7 | 89.0 | 34.1 | 63.7 | |
| 4 | Alibaba/Qwen | 86.1 | 49.0 | 86.5 | 23.7 | 59.5 | |
| 5 | Alibaba/Qwen | 80.0 | 42.0 | 92.3 | 30.0 | 59.2 | |
| 6 | Meta | 83.6 | 46.7 | 80.5 | 21.8 | 56.3 | |
| 7 | 75.2 | 38.4 | 74.0 | 14.7 | 48.7 | ||
| 8 | Mistral AI | 68.0 | 32.0 | 73.4 | 15.0 | 45.3 | |
| 9 | Meta | 63.4 | 24.7 | 58.3 | 9.5 | 37.0 |

