Создайте свою мини-модель GPT-4o-mini через дистилляцию - дешевле и быстрее, но почти так же умно
За 5 минут настраиваете fine-tuning GPT-4o-mini на ответах GPT-4o прямо в панели OpenAI - без кода, кнопкой Distill
- 1.Откройте страницу Chat Completions в панели OpenAI и убедитесь, что у вас есть сохранённые запросы с моделью gpt-4o. Если их мало - отправьте 10 - 50 запросов к gpt-4o через Playground или API с разными входными данными вашей задачи. Пометьте каждый запрос метаданными, например distillation: my-task, чтобы потом легко отфильтровать.
Дистилляция работает так: GPT-4o (учитель) генерирует качественные ответы, а GPT-4o-mini (ученик) учится их повторять через fine-tuning. Метаданные помогают не смешивать запросы от разных моделей. Если сервис недоступен в вашем регионе, используйте VPN или прокси.
OpenAI Dashboard ↗Об инструменте - 2.На той же странице Chat Completions отфильтруйте сохранённые завершения: выберите модель gpt-4o и добавьте фильтр по метаданным distillation: my-task. Выделите все найденные записи галочками.
Важно выбрать именно gpt-4o - вы хотите дистиллировать ответы умной модели, а не самой mini.
OpenAI Dashboard ↗Об инструменте - 3.Нажмите кнопку «Distill» в правом верхнем углу. В появившемся окне выберите базовой моделью gpt-4o-mini, оставьте гиперпараметры на auto и нажмите «Create».
OpenAI автоматически создаст файл для fine-tuning из выбранных завершений и запустит задачу обучения. Процесс занимает от нескольких минут до пары часов в зависимости от объёма данных.
OpenAI Dashboard ↗Об инструменте - 4.Перейдите на страницу Fine-tuning, найдите свою задачу и дождитесь статуса «succeeded». Скопируйте имя новой модели - оно выглядит как ft:gpt-4o-mini-2024-07-18:personal:XXXXX.
Имя новой модели понадобится вам для вызова через API или в Playground - это и есть ваша оптимизированная мини-модель.
OpenAI Fine-tuning ↗Об инструменте - 5.Проверьте результат в Playground: выберите вашу fine-tuned модель из списка и отправьте тестовый запрос из вашей задачи. Сравните ответ с тем, что выдала бы обычная gpt-4o-mini - качество должно быть заметно ближе к gpt-4o.
Можно также использовать инструмент Evaluations в панели OpenAI для формального сравнения моделей по критериям.
OpenAI Playground ↗Об инструментеПромптYou are a helpful assistant. [Your task-specific system prompt here] User: [Your test input here]
Что делает этот промптАнглийский промпт для теста в Playground. Замените [Your task-specific system prompt here] на системный промпт вашей задачи, а [Your test input here] - на конкретный тестовый запрос пользователя. Перед этим не забудьте выбрать в выпадающем списке моделей вашу fine-tuned модель, а не стандартную gpt-4o-mini.
- APIOpenAI API - оплата за использованиеДистилляция требует сгенерировать запросы через gpt-4o (учитель) - это платные API-вызовы. Fine-tuning gpt-4o-mini тоже тарифицируется. Точная стоимость зависит от объёма данных; тарификация идёт по использованию, без отдельной подписки. Все цены - на странице pricing.openai.com.
Почему сегодня
ИИ-сервисы быстро меняются - интерфейсы и бесплатные лимиты могут отличаться от описанных.