TECHAGENT - MY AI LIFE

Бенчмарки AI Моделей

Стандартные: 36 · HF: 22

О бенчмарках

Бенчмарки - это стандартизированные тесты, оценивающие, насколько хорошо ИИ-модели справляются с рассуждением, знаниями, математикой и программированием. Используйте их, чтобы объективно сравнивать модели и выбирать подходящую под задачу.

📊 Стандартные. Стандартные - четыре самых цитируемых публичных бенчмарка (MMLU, GPQA, HumanEval, SWE-Bench), взятые со страниц анонсов моделей; наша Оценка сводит их в одно число.

🤗 HF Open LLM Leaderboard. HF Open LLM Leaderboard - шесть задач (IFEval, BBH, MATH, GPQA, MuSR, MMLU-Pro), измеренных единообразно для open-source моделей; ранжирование по Среднему.

📊 Стандартные (MMLU · GPQA · HumanEval · SWE-Bench)🤗 HF Open LLM Leaderboard
🤗

HF Open LLM Leaderboard v2

IFEval · BBH · MATH · GPQA · MuSR · MMLU-Pro - опенсорс модели по стандартным тестам.

Открыть в HF →
ВсеОткрытый кодMeta (8)Alibaba/Qwen (5)Microsoft (3)
#Модель↕Провайдер↕IFEval↕BBH↕MATH↕GPQA↕MuSR↕MMLU-Pro↕Среднее↓
1Alibaba/QwenQwen2.5 72B InstructOSSAlibaba/Qwen
86.4
61.9
59.8
16.7
11.7
51.4
48.0
2Alibaba/QwenQwen 2.5 72BOSSAlibaba/Qwen
86.4
61.9
59.8
16.7
11.7
51.4
48.0
3Alibaba/QwenQwen2.5 Coder 32B InstructOSSAlibaba/Qwen
72.7
52.3
49.5
13.2
13.7
37.9
39.9
4Alibaba/QwenQwen 2.5 Coder 32BOSSAlibaba/Qwen
72.7
52.3
49.5
13.2
13.7
37.9
39.9
5Alibaba/QwenQwen2.5 7B InstructOSSAlibaba/Qwen
75.8
34.9
50.0
5.5
8.4
36.5
35.2
Среднее = IFEval · BBH · MATH · GPQA · MuSR · MMLU-ProВсе оценки в % · выше - лучше