Alat gratis
Kalkulator uji A/B
Periksa apakah perbedaan antara dua varian signifikan secara statistik, dan hitung berapa banyak pengunjung yang dibutuhkan sebuah uji. Gratis, tanpa perlu daftar, dan setiap rumus ditampilkan.
Arti signifikansi statistik dalam uji A/B
Dalam uji A/B, Anda menampilkan dua versi dari sesuatu kepada dua kelompok orang yang dipilih secara acak, lalu membandingkan berapa banyak yang berkonversi. Varian B hampir tidak pernah mendapatkan tingkat yang persis sama dengan varian A, bahkan ketika perubahannya sama sekali tidak berpengaruh. Pertanyaannya adalah apakah selisihnya lebih besar daripada yang bisa diharapkan dari kebetulan semata.
P-value menjawab pertanyaan itu. P-value adalah probabilitas munculnya selisih setidaknya sebesar ini jika kedua varian sebenarnya berkinerja sama. P-value 0,036 berarti selisih seperti milik Anda akan muncul secara kebetulan di sekitar 3,6% uji yang sebenarnya tidak memiliki perbedaan. Jika p-value berada di bawah ambang batas Anda (0,05 untuk tingkat kepercayaan 95%), hasilnya disebut signifikan secara statistik.
Cara kerja kalkulator
Kalkulator ini menggunakan uji z dua proporsi. Kalkulator menggabungkan konversi kedua varian untuk memperkirakan tingkat yang diharapkan jika tidak ada perbedaan, menghitung galat baku dari situ, lalu membagi selisih kedua tingkat dengan galat baku tersebut. Hasilnya adalah skor z: seberapa banyak galat baku yang memisahkan kedua tingkat. P-value diperoleh dari distribusi normal.
Contoh: varian A mendapatkan 100 konversi dari 1.000 pengunjung (10%) dan varian B mendapatkan 130 dari 1.000 (13%). Itu berarti uplift relatif sebesar 30%, skor z sekitar 2,10, dan p-value dua sisi sekitar 0,036. B secara signifikan lebih baik pada 95%, tetapi tidak pada 99%.
Interval kepercayaan menunjukkan rentang tempat selisih sebenarnya kemungkinan besar berada. Dalam contoh ini, rentangnya sekitar +0,2 hingga +5,8 poin persentase. Interval yang lebar menandakan uji belum presisi, meskipun hasilnya signifikan.
Menjalankan survei, bukan uji? Kalkulator ukuran sampel survei memberi tahu Anda berapa banyak jawaban yang Anda butuhkan.
Rencanakan ukuran sampel terlebih dahulu
Sebagian besar uji yang gagal ukurannya terlalu kecil. Sebelum memulai, tentukan perubahan terkecil yang layak ditindaklanjuti, lalu gunakan alat bantu pra-uji untuk melihat berapa banyak pengunjung yang dibutuhkan setiap varian pada power 80%. Power adalah peluang uji mendeteksi efek sebesar itu jika efek tersebut memang ada. Kemudian jalankan uji sampai angka itu tercapai, dan jalankan dalam hitungan minggu penuh agar hari kerja dan akhir pekan sama-sama tercakup.
Beberapa aturan lain yang membantu:
- Uji satu perubahan dalam satu waktu, seperti hadiah, format game, atau jumlah kolom formulir, agar Anda tahu apa yang membuat perbedaan.
- Pilih metrik sebelum uji. Tingkat pendaftaran, tingkat penyelesaian, dan tingkat opt-in bisa bergerak ke arah yang berbeda.
- Jangan mengintip lalu berhenti. Menghentikan uji begitu p-value turun di bawah 0,05 membuat pemenang palsu jauh lebih sering muncul.
Panduan kami tentang uji A/B untuk kampanye gamifikasi menunjukkan apa saja yang layak diuji dalam kampanye, dan daftar KPI pemasaran gamifikasi membantu Anda memilih metrik. Di Scratcher, angka untuk setiap kampanye tersedia di analitik. Untuk melihat nilai uang dari tingkat konversi yang lebih baik, gunakan kalkulator ROI kampanye.
Signifikansi statistik memberi tahu Anda apakah suatu perbedaan kemungkinan nyata, bukan apakah perbedaan itu cukup besar untuk berarti. Perhatikan juga uplift dan interval kepercayaannya.
Apakah kalkulator uji A/B ini gratis?
Ya. Anda bisa menggunakannya secara gratis sesering yang Anda mau, tanpa perlu akun. Tidak ada data yang Anda ketik yang dikirimkan kepada kami.
P-value berapa yang dianggap signifikan?
Tergantung tingkat kepercayaan yang Anda pilih sebelum uji. Pada 95%, p-value di bawah 0,05 dianggap signifikan. Pada 90% ambang batasnya 0,10, dan pada 99% ambang batasnya 0,01. Tingkat yang lebih ketat berarti lebih sedikit pemenang palsu, tetapi membutuhkan lebih banyak pengunjung.
Sebaiknya saya menggunakan uji satu sisi atau dua sisi?
Gunakan uji dua sisi, kecuali Anda sudah memutuskan sejak awal bahwa Anda hanya peduli apakah B lebih baik dan akan memperlakukan B yang lebih buruk sama dengan tidak ada perbedaan. Uji satu sisi lebih cepat mencapai signifikansi, tetapi tidak dapat memberi tahu Anda bahwa B lebih buruk.
Hasil saya tidak signifikan. Lalu bagaimana?
Artinya uji belum menunjukkan perbedaan, bukan berarti tidak ada perbedaan. Periksa alat bantu pra-uji: jika jumlah pengunjung Anda jauh lebih sedikit dari yang dibutuhkan, lanjutkan uji. Jika ukuran sampel yang direncanakan sudah tercapai, anggap kedua varian setara dan uji perubahan yang lebih besar.
Mengapa kalkulator memberi peringatan tentang sampel kecil?
Uji z bergantung pada aproksimasi yang hanya berlaku jika setiap varian memiliki cukup konversi dan non-konversi, kira-kira masing-masing 5 atau lebih. Dengan data yang lebih sedikit, p-value bisa menyesatkan, jadi kumpulkan lebih banyak data sebelum mengambil keputusan.
Biarkan undian berikutnya berjalan otomatis
Jalankan kompetisi di halaman Anda sendiri, kumpulkan email dan persetujuan, dan biarkan pemenang diundi untuk Anda. Coba gratis selama 14 hari, tanpa kartu kredit.