Comparativos de mercado do modelo de IA
Padrão: 36 · HF: 22
Sobre os benchmarks
Benchmarks são testes padronizados que avaliam o desempenho de modelos de IA em raciocínio, conhecimento, matemática e programação. Use-os para comparar modelos de forma objetiva e escolher o modelo certo para sua tarefa.
📊 Padrão. Padrão - os quatro benchmarks públicos mais citados (MMLU, GPQA, HumanEval, SWE-Bench), retirados da página de anúncio de cada modelo; nossa pontuação os combina em um único número.
🤗 Tabela de classificação HF Open LLM. HF Open LLM Leaderboard - seis tarefas (IFEval, BBH, MATH, GPQA, MuSR, MMLU-Pro) medidas uniformemente para modelos de código aberto; ordenada pela média.
📚MMLU
57 disciplinas acadêmicas
🔬GPQA Diamond
Questões científicas de nível de doutorado
💻HumanEval
Geração de código Python
🔧SWE-Bench
Tarefas reais do GitHub
| # | Modelo↕ | Fornecedor↕ | MMLU↕ | GPQA↕ | HumanEval↕ | SWE-Bench↕ | Pontuação↓ |
|---|---|---|---|---|---|---|---|
| 1 | OpenAI | 92.3 | 77.3 | 92.4 | 48.9 | 77.0 | |
| 2 | OpenAI | 86.9 | 67.4 | 91.7 | 49.3 | 72.9 | |
| 3 | OpenAI | 88.7 | 53.6 | 90.2 | 38.3 | 65.9 | |
| 4 | OpenAI | 82.0 | 40.1 | 87.1 | 22.8 | 55.9 |
Pontuação = MMLU×20% + GPQA×30% + HumanEval×25% + SWE-Bench×25%Todas as pontuações em % · quanto maior, melhor→ Tabela completa de modelos com preços e rapidez