İçeriğe geç
Rex, yapay zekâ asistanınız: angarya işler ondan, fikirler sizden 👉 Rex ile tanışın

Ücretsiz araç

A/B test hesaplayıcı

İki varyant arasındaki farkın istatistiksel olarak anlamlı olup olmadığını kontrol edin ve bir testin kaç ziyaretçiye ihtiyaç duyduğunu hesaplayın. Ücretsiz, kayıt gerektirmez ve tüm formüller açıkça gösterilir.

Varyant A (kontrol)
Varyant B
Test ayarları
Test türü

Çift yönlü test, B'nin A'dan herhangi bir yönde farklı olup olmadığını kontrol eder. Tek yönlü test ise yalnızca B'nin daha iyi olup olmadığına bakar. Seçiminizi rakamları gördükten sonra değil, test başlamadan önce yapın.

Sonuç

A dönüşüm oranı
–
B dönüşüm oranı
–
Göreli artış (B ve A)
–
Z-skoru
–
P-değeri
–
–

Testiniz kaç ziyaretçiye ihtiyaç duyuyor?

Testi başlamadan önce planlayın. Mevcut dönüşüm oranınızı ve harekete geçmenizi gerektirecek en küçük değişikliği girin.

Göreli bir değişimdir: 20, %10'dan %12'ye bir artışı saptamak istediğiniz anlamına gelir. Etki ne kadar küçükse o kadar çok ziyaretçiye ihtiyacınız olur.

Varyant başına gereken ziyaretçi

–

Nasıl hesaplanır?

  • Dönüşüm oranı: pA = dönüşümler A ÷ ziyaretçiler A, B için de aynısı
  • Göreli artış: (pB − pA) ÷ pA
  • Birleştirilmiş oran: p = (dönüşümler A + dönüşümler B) ÷ (ziyaretçiler A + ziyaretçiler B)
  • Birleştirilmiş standart hata: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)); burada n ziyaretçi sayısıdır
  • Z-skoru: z = (pB − pA) ÷ SE
  • P-değeri: çift yönlü 2 × (1 − Φ(|z|)), tek yönlü 1 − Φ(z); burada Φ standart normal dağılımdır. P-değeri 1 − güven düzeyinin altında olduğunda sonuç anlamlıdır, örneğin %95'te 0,05.
  • Fark için güven aralığı: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB); %90, %95 veya %99 için z* = 1,645, 1,960 veya 2,576. Bu aralık birleştirilmemiş standart hatayı kullanır.
  • Varyant başına ziyaretçi: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)²; burada p1 mevcut oran, p2 = p1 × (1 + etki), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 veya 2,576 ve %80 güç için zβ = 0,842, %90 için 1,282'dir. Sonuç yukarı yuvarlanır.

Hesaplayıcı tarayıcınızda çalışır ve girdiğiniz hiçbir bilgi bize gönderilmez. İki oranlı z-testi kullanır; bu, her varyantta makul sayıda dönüşüm olduğunda iki dönüşüm oranını karşılaştırmak için standart testtir. Örneklem büyüklüğüne test başlamadan önce karar verin ve sonuç anlamlı hâle geldiği anda testi durdurmayın: Sonuçlara tekrar tekrar bakmak yanlış pozitif olasılığını artırır.

A/B testinde istatistiksel anlamlılık ne demektir?

Bir A/B testinde bir şeyin iki versiyonunu rastgele seçilmiş iki gruba gösterir ve kaç kişinin dönüşüm sağladığını karşılaştırırsınız. Değişiklik hiçbir fark yaratmasa bile B varyantı neredeyse hiçbir zaman A ile tam olarak aynı oranı elde etmez. Asıl soru, aradaki farkın yalnızca tesadüfle açıklanabilecek olandan büyük olup olmadığıdır.

Bu sorunun yanıtını p-değeri verir. P-değeri, iki varyant gerçekte aynı performansı gösterseydi en az bu büyüklükte bir fark görme olasılığıdır. 0,036'lık bir p-değeri, gerçek bir fark olmayan testlerin yaklaşık %3,6'sında sizinki gibi bir farkın tesadüfen ortaya çıkacağı anlamına gelir. P-değeri eşiğinizin altındaysa (%95 güven düzeyi için 0,05), sonuç istatistiksel olarak anlamlı kabul edilir.

Hesaplayıcı nasıl çalışır?

Hesaplayıcı iki oranlı z-testi kullanır. Fark olmasaydı beklenecek oranı tahmin etmek için her iki varyantın dönüşümlerini birleştirir, buradan standart hatayı hesaplar ve iki oran arasındaki farkı bu değere böler. Sonuç z-skorudur: İki oranın birbirinden kaç standart hata uzakta olduğunu gösterir. P-değeri normal dağılımdan elde edilir.

Bir örnek: A varyantı 1.000 ziyaretçiden 100 dönüşüm (%10), B varyantı ise 1.000 ziyaretçiden 130 dönüşüm (%13) elde ediyor. Bu, %30'luk göreli artış, yaklaşık 2,10'luk z-skoru ve yaklaşık 0,036'lık çift yönlü p-değeri demektir. B, %95 düzeyinde anlamlı ölçüde daha iyidir, ancak %99 düzeyinde değildir.

Güven aralığı, gerçek farkın büyük olasılıkla bulunduğu aralığı gösterir. Örnekte bu aralık yaklaşık +0,2 ile +5,8 yüzde puan arasındadır. Geniş bir aralık, test anlamlı olsa bile henüz yeterince kesin olmadığını gösterir.

Test yerine anket mi yürütüyorsunuz? Anket örneklem büyüklüğü hesaplayıcı kaç yanıta ihtiyacınız olduğunu gösterir.

Önce örneklem büyüklüğünü planlayın

Başarısız testlerin çoğu çok küçüktür. Başlamadan önce harekete geçmeye değer en küçük değişikliği belirleyin ve test öncesi yardımcıyı kullanarak %80 güçte her varyantın kaç ziyaretçiye ihtiyaç duyduğunu görün. Güç, o büyüklükte bir etki gerçekten varsa testin bunu saptama olasılığıdır. Ardından testi bu sayıya ulaşana kadar sürdürün ve hem hafta içi hem de hafta sonu dahil olsun diye tam haftalar boyunca çalıştırın.

Birkaç kural daha işinize yarar:

  1. Her seferinde tek bir değişikliği test edin, örneğin ödülü, oyun formatını veya form alanı sayısını; böylece farkı neyin yarattığını bilirsiniz.
  2. Metriği testten önce seçin. Kayıt oranı, tamamlama oranı ve onay oranı farklı yönlerde değişebilir.
  3. Erken bakıp durdurmayın. P-değeri 0,05'in altına düştüğü anda durmak, sahte kazananları çok daha yaygın hâle getirir.

Oyunlaştırılmış kampanyalarda A/B testi rehberimiz bir kampanyada neyi test etmeye değer olduğunu gösterir; oyunlaştırma pazarlaması KPI'ları listesi ise metriği seçmenize yardımcı olur. Scratcher'da her kampanyanın verileri analitik bölümünde yer alır. Daha iyi bir dönüşüm oranının parasal değerini görmek için kampanya ROI hesaplayıcısını kullanın.

İstatistiksel anlamlılık, bir farkın gerçek olma olasılığını gösterir; farkın önemli olacak kadar büyük olup olmadığını değil. Artışa ve güven aralığına da bakın.

Sorular

A/B testi anlamlılığı hakkında sorular

Toplantı ayarlayın
A/B test hesaplayıcı ücretsiz mi?

Evet. İstediğiniz kadar ücretsiz kullanabilirsiniz ve hesap açmanız gerekmez. Girdiğiniz hiçbir bilgi bize gönderilmez.

Hangi p-değeri anlamlı sayılır?

Bu, testten önce seçtiğiniz güven düzeyine bağlıdır. %95'te 0,05'in altındaki bir p-değeri anlamlıdır. %90'da eşik 0,10, %99'da ise 0,01'dir. Daha katı bir düzey daha az sahte kazanan demektir, ancak daha fazla ziyaretçi gerektirir.

Tek yönlü mü yoksa çift yönlü test mi kullanmalıyım?

Yalnızca B'nin daha iyi olup olmadığıyla ilgilendiğinize ve daha kötü bir B'yi farksızlıkla aynı değerlendireceğinize önceden karar vermediyseniz çift yönlü testi kullanın. Tek yönlü test anlamlılığa daha çabuk ulaşır, ancak B'nin daha kötü olduğunu size söyleyemez.

Sonucum anlamlı değil. Şimdi ne yapmalıyım?

Bu, testin bir fark göstermediği anlamına gelir; fark olmadığı anlamına gelmez. Test öncesi yardımcıyı kontrol edin: Gerekenden çok daha az ziyaretçiniz varsa testi sürdürün. Planlanan örneklem büyüklüğüne ulaştıysanız varyantları eşit kabul edin ve daha büyük bir değişikliği test edin.

Hesaplayıcı neden küçük örneklemler konusunda uyarıyor?

Z-testi, yalnızca her varyantta yeterli sayıda dönüşüm ve dönüşüm olmayan ziyaret (her birinden kabaca 5 veya daha fazla) olduğunda işe yarayan bir yaklaşıma dayanır. Daha az veriyle p-değeri yanıltıcı olabilir; karar vermeden önce daha fazla veri toplayın.

Bir sonraki çekiliş kendi kendine işlesin

Yarışmanızı kendi sayfanızda yürütün, e-posta adresleri ve onaylar toplayın, kazananlar sizin yerinize belirlensin. 14 gün ücretsiz deneyin, kredi kartı gerekmez.