Compare Claude Opus e GPT-5 em uma mesma tarefa em 8 minutos
Teste A/B cego com 5 critérios, sem viés e sem hate nos comentários
- 1.Preparamos um prompt de tarefa idêntico para ambos os modelos. Substitua os campos entre colchetes pelos seus dados, removendo antes do texto qualquer informação confidencial: nomes de clientes, empresas sob NDA, números internos, dados pessoais.
⚠️ Antes de enviar para um serviço externo, verifique: o texto da tarefa não deve conter dados que você não publicaria em um blog público. Use descrições genéricas: «startup B2B no setor de logística» em vez do nome da empresa, «gerentes de vendas» em vez de nomes de funcionários.
PromptYou are an expert copywriter. Write a 150-word email that convinces [general audience description, e.g. "small business owners"] to try [generic product category, e.g. "a project management tool"] because [generic situation, e.g. "their team wastes 5+ hours weekly on status meetings"]. Tone: friendly but professional. End with a single clear call-to-action. Do not use the words "revolutionary" or "game-changing".
O que este prompt fazModelo de prompt em inglês para a tarefa: escrever um e-mail de 150 palavras. Substitua [general audience description] pelo tipo de público sem nomes de empresas, [generic product category] - pela categoria de produto, [generic situation] - por um problema típico. Os três campos são descrições anonimizadas, sem nomes reais nem números do seu trabalho. - 2.Abra o Claude (claude.ai), crie um novo chat e cole o prompt do passo 1. Copie a resposta do modelo para um documento separado com o título «Variante A». Não identifique qual modelo gerou o texto.
A conta gratuita do Claude dá acesso ao modelo Sonnet. Para o Opus é necessária a assinatura Claude Pro ($20/mês). Se não tiver assinatura, teste o Sonnet - ainda é uma comparação justa.
Claude ↗Sobre a ferramenta - 3.Abra o ChatGPT (chatgpt.com) em modo anônimo, inicie um novo chat e cole exatamente o mesmo prompt, palavra por palavra. Copie a resposta no mesmo documento sob o título «Variante B».
No ChatGPT gratuito, o GPT-4o é usado por padrão. O GPT-5 está disponível na assinatura ChatGPT Plus ($20/mês). Verifique se o modelo correto está selecionado no menu superior.
ChatGPT ↗Sobre a ferramenta - 4.Avalie ambas as variantes em 5 critérios de 1 a 5 pontos: 1) aderência ao tamanho solicitado (150 palavras), 2) manutenção do tom «friendly but professional», 3) ausência de palavras proibidas («revolutionary», «game-changing»), 4) força da chamada para ação, 5) naturalidade da escrita sem clichês. Anote os pontos ao lado de cada variante.
Conte as palavras de cada resposta usando qualquer contador de palavras online - os modelos frequentemente ultrapassam o limite. Procure as palavras proibidas com Ctrl+F / Cmd+F.
- 5.Some os pontos de cada variante. A variante com a maior pontuação final é a vencedora para a sua tarefa específica. Agora você pode abrir os chats e verificar qual modelo estava por trás de A e B.
O resultado depende do tipo de tarefa. Faça o mesmo teste com um prompt de outro tipo (código, análise, tradução) e o ranking pode mudar. Guarde o prompt e a tabela de pontos para comparações futuras.
- grátisClaude (conta gratuita)Acesso gratuito ao modelo Sonnet com limite de mensagens conforme a demanda; para o Opus é necessária a assinatura Pro por $20 por mês.
- grátisChatGPT (conta gratuita)Acesso gratuito ao GPT-4o com limite de mensagens; para o GPT-5 é necessária a assinatura ChatGPT Plus por $20 por mês.
Por que hoje
Serviços de IA mudam rápido - interfaces e limites gratuitos podem diferir do descrito.