← LLM Модели#32Открытый кодGoogle
View on HF →
Gemma 2 27B
Семейство открытых моделей Google. Отличная инструкция по адресу 27B.
Официальная страница →📖Контекст8K tokens
🚀Скорость120 tok/s
💵Входящий токен$0.650/1M
💸Исходящий токен$0.650/1M
🧠Параметры27B
Бенчмарки
Серая полоса = среднее по датасетуMMLU57 академических предметов
75.2%ср. 81.8
GPQA DiamondВопросы уровня PhD
38.4%ср. 50.4
HumanEvalГенерация Python-кода
74.0%ср. 79.9
SWE-Bench VerifiedРеальные задачи с GitHub
14.7%ср. 32.4
Составной ScoreScore = MMLU×20% + GPQA×30% + HumanEval×25% + SWE-Bench×25%48.7
HF Open LLM Leaderboard
IFEval · BBH · MATH · GPQA · MuSR · MMLU-Pro
Среднее
36.2
IFEvalСледование инструкциям
79.8%ср. 79.9
BBHBig Bench Hard
49.3%ср. 48.7
MATH Lvl 5Соревновательная математика
23.9%ср. 37.8
GPQAНаучные вопросы уровня аспирантуры
16.7%ср. 12.9
MuSRМногошаговые рассуждения
9.1%ср. 10.7
MMLU-ProПрофессиональные знания
38.4%ср. 40.0
Ещё от Google
API Провайдеры
Детали
- Провайдер
- Параметры
- 27B
- Контекст
- 8K tokens
- Скорость
- 120 tok/s
- Открытый код
- Да
- Лицензия
- Открытая (варьируется)
- Релиз
- -