AI模型基准测试
标准: 36 · HF: 22
关于基准测试
基准测试是标准化测试,用于评估 AI 模型在推理、知识、数学和编程方面的表现。借助它们可以客观比较模型,并为任务选择合适的模型。
📊 标准. 标准 - 四个最常被引用的公开基准(MMLU、GPQA、HumanEval、SWE-Bench),取自各模型的发布页;我们的评分将其汇总为一个数值。
🤗 HF开放LLM排行榜. HF Open LLM Leaderboard - 对开源模型统一测量的六项任务(IFEval、BBH、MATH、GPQA、MuSR、MMLU-Pro),按平均分排名。
| # | 模型↕ | 提供商↕ | IFEval↕ | BBH↕ | MATH↕ | GPQA↕ | MuSR↕ | MMLU-Pro↕ | 平均↑ |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Meta | 24.0 | 18.4 | 3.9 | 2.1 | 19.9 | 17.8 | 14.3 | |
| 2 | Meta | 58.1 | 8.3 | 8.2 | 2.4 | 1.9 | 8.2 | 14.5 | |
| 3 | Meta | 50.6 | 29.2 | 15.5 | 9.5 | 8.5 | 30.9 | 24.0 | |
| 4 | Meta | 73.9 | 24.1 | 17.7 | 3.8 | 1.4 | 24.4 | 24.2 | |
| 5 | Meta | 73.9 | 24.1 | 17.7 | 3.8 | 1.4 | 24.4 | 24.2 | |
| 6 | Meta | 86.7 | 55.9 | 38.1 | 14.2 | 17.7 | 47.9 | 43.4 | |
| 7 | Meta | 86.7 | 55.9 | 38.1 | 14.2 | 17.7 | 47.9 | 43.4 | |
| 8 | Meta | 90.0 | 56.6 | 48.3 | 10.5 | 15.6 | 48.1 | 44.9 |
平均 = IFEval · BBH · MATH · GPQA · MuSR · MMLU-Pro所有分数以%表示 · 越高越好

