Bandingkan Claude Opus dan GPT-5 pada satu tugas dalam 8 menit secara jujur
A/B-test buta dengan 5 kriteria, tanpa bias dan kebencian di komentar
- 1.Siapkan prompt tugas yang sama untuk kedua model. Ganti kolom dalam kurung siku dengan milik Anda, setelah menghapus semua informasi rahasia dari teks: nama klien, nama perusahaan di bawah NDA, angka internal, data pribadi.
⚠️ Sebelum mengirim ke layanan pihak ketiga, periksa: teks tugas tidak boleh berisi data yang tidak ingin Anda posting di blog publik. Gunakan formulasi umum: «startup B2B di bidang logistik» alih-alih nama perusahaan, «manajer penjualan» alih-alih nama karyawan.
PromptAnda adalah seorang copywriter ahli. Tulis email 150 kata yang meyakinkan [deskripsi audiens umum, mis. 'pemilik usaha kecil'] untuk mencoba [kategori produk umum, mis. 'alat manajemen proyek'] karena [situasi umum, mis. 'tim mereka membuang 5+ jam setiap minggu untuk rapat status']. Nada: ramah namun profesional. Akhiri dengan satu call-to-action yang jelas. Jangan gunakan kata 'revolutionary' atau 'game-changing'.
Apa fungsi prompt iniTemplate prompt untuk tugas: menulis email sepanjang 150 kata. Ganti [deskripsi audiens umum] dengan jenis audiens tanpa nama perusahaan, [kategori produk umum] - dengan kategori produk, [situasi umum] - dengan masalah tipikal. Ketiga kolom adalah deskripsi anonim, tanpa nama dan angka nyata dari pekerjaan Anda. - 2.Buka Claude (claude.ai), buat chat baru dan tempel prompt dari langkah 1. Salin respons model ke dokumen terpisah dengan judul «Varian A». Jangan beri label model mana yang membuatnya.
Akun gratis Claude memberikan akses ke model Sonnet. Untuk Opus diperlukan langganan Claude Pro ($20/bulan). Jika tidak ada langganan - tes Sonnet, ini tetap perbandingan yang jujur.
Claude ↗Tentang alat ini - 3.Buka ChatGPT (chatgpt.com) dalam mode incognito, mulai chat baru dan tempel prompt yang sama kata demi kata. Salin respons ke dokumen yang sama di bawah judul «Varian B».
Di ChatGPT gratis secara default digunakan GPT-4o. GPT-5 tersedia dalam langganan ChatGPT Plus ($20/bulan). Pastikan model yang tepat dipilih di menu atas.
ChatGPT ↗Tentang alat ini - 4.Nilai kedua varian dengan 5 kriteria dari 1 sampai 5 poin: 1) kesesuaian panjang yang ditentukan (150 kata), 2) kepatuhan nada «friendly but professional», 3) tidak ada kata terlarang («revolutionary», «game-changing»), 4) kekuatan call-to-action, 5) kewajaran bahasa tanpa klise. Catat skor di sebelah setiap varian.
Hitung kata di setiap respons dengan penghitung kata online apa saja - model sering melebihi batas. Cari kata terlarang dengan Ctrl+F / Cmd+F.
- 5.Jumlahkan skor untuk setiap varian. Varian dengan total tertinggi adalah pemenang untuk tugas Anda. Sekarang Anda bisa membuka chat dan memeriksa model mana yang berada di balik A dan B.
Hasil tergantung jenis tugas. Lakukan tes yang sama pada prompt jenis lain (kode, analitik, terjemahan), dan peringkat bisa berubah. Simpan prompt dan tabel skor untuk perbandingan di masa depan.
- gratisClaude (akun gratis)Akses gratis ke model Sonnet dengan batas pesan tergantung beban, untuk Opus diperlukan langganan Pro seharga $20 per bulan.
- gratisChatGPT (akun gratis)Akses gratis ke GPT-4o dengan batas pesan, untuk GPT-5 diperlukan langganan ChatGPT Plus seharga $20 per bulan.
Kenapa hari ini
Layanan AI berubah cepat - antarmuka dan batas gratis bisa berbeda dari yang dijelaskan.