Честно сравните Claude Opus и GPT-5 на одной задаче за 8 минут
Слепой A/B-тест по 5 критериям, без предвзятости и хейта в комментариях
- 1.Готовим одинаковый промт-задание для обеих моделей. Замените поля в квадратных скобках на свои, предварительно убрав из текста любую конфиденциальную информацию: имена клиентов, названия компаний под NDA, внутренние цифры, персональные данные.
⚠️ Перед отправкой в сторонний сервис проверьте: текст задания не должен содержать данных, которые вы бы не выложили в публичный блог. Используйте обобщённые формулировки: «B2B-стартап в сфере логистики» вместо названия компании, «руководители отделов продаж» вместо имен сотрудников.
ПромптYou are an expert copywriter. Write a 150-word email that convinces [general audience description, e.g. "small business owners"] to try [generic product category, e.g. "a project management tool"] because [generic situation, e.g. "their team wastes 5+ hours weekly on status meetings"]. Tone: friendly but professional. End with a single clear call-to-action. Do not use the words "revolutionary" or "game-changing".
Что делает этот промптАнглийский промт-шаблон для задачи: написать email-письмо длиной 150 слов. Замените [general audience description] на тип аудитории без названий компаний, [generic product category] - на категорию продукта, [generic situation] - на типичную проблему. Все три поля - обезличенные описания, без реальных названий и цифр из вашей работы. - 2.Откройте Claude (claude.ai), создайте новый чат и вставьте промт из шага 1. Скопируйте ответ модели в отдельный документ с заголовком «Вариант A». Не подписывайте, какая модель это сгенерировала.
Бесплатный аккаунт Claude даёт доступ к модели Sonnet. Для Opus требуется подписка Claude Pro ($20/мес). Если подписки нет - тестируйте Sonnet, это всё ещё честное сравнение.
Claude ↗Об инструменте - 3.Откройте ChatGPT (chatgpt.com) в режиме инкогнито, начните новый чат и вставьте тот же промт слово в слово. Скопируйте ответ в тот же документ под заголовком «Вариант B».
В бесплатном ChatGPT по умолчанию используется GPT-4o. GPT-5 доступен в подписке ChatGPT Plus ($20/мес). Убедитесь, что выбрана нужная модель в верхнем меню.
ChatGPT ↗Об инструменте - 4.Оцените оба варианта по 5 критериям от 1 до 5 баллов: 1) соответствие заданной длине (150 слов), 2) соблюдение тона «friendly but professional», 3) отсутствие запрещённых слов («revolutionary», «game-changing»), 4) сила призыва к действию, 5) естественность речи без штампов. Запишите баллы рядом с каждым вариантом.
Считайте слова в каждом ответе через любой онлайн-счётчик слов - модели часто превышают лимит. Запрещённые слова ищите через Ctrl+F / Cmd+F.
- 5.Суммируйте баллы по каждому варианту. Вариант с большим итоговым числом - победитель именно для вашей задачи. Теперь можете открыть чаты и проверить, какая модель стояла за A и B.
Результат зависит от типа задачи. Проведите такой же тест на промте другого типа (код, аналитика, перевод), и рейтинг может измениться. Сохраняйте промт и таблицу баллов для будущих сравнений.
- бесплатноClaude (бесплатный аккаунт)Бесплатный доступ к модели Sonnet с лимитом сообщений в зависимости от нагрузки, для Opus нужна подписка Pro за $20 в месяц.
- бесплатноChatGPT (бесплатный аккаунт)Бесплатный доступ к GPT-4o с лимитом сообщений, для GPT-5 требуется подписка ChatGPT Plus за $20 в месяц.
Почему сегодня
ИИ-сервисы быстро меняются - интерфейсы и бесплатные лимиты могут отличаться от описанных.