Co oznacza istotność statystyczna w teście A/B
W teście A/B pokazujesz dwie wersje czegoś dwóm losowym grupom osób i porównujesz, ile z nich konwertuje. Wariant B prawie nigdy nie ma dokładnie takiego samego współczynnika jak wariant A, nawet jeśli zmiana nic nie daje. Pytanie brzmi, czy różnica jest większa, niż można by się spodziewać po samym przypadku.
Odpowiada na to wartość p. To prawdopodobieństwo, że zobaczysz różnicę co najmniej tak dużą, jeśli oba warianty w rzeczywistości działają tak samo. Wartość p równa 0,036 oznacza, że taka różnica pojawiłaby się przypadkiem w około 3,6% testów bez prawdziwej różnicy. Jeśli wartość p jest poniżej progu (0,05 przy poziomie ufności 95%), wynik nazywa się istotnym statystycznie.
Jak działa kalkulator
Kalkulator używa testu z dla dwóch proporcji. Łączy konwersje obu wariantów, aby oszacować współczynnik, którego można by się spodziewać, gdyby różnicy nie było, liczy z niego błąd standardowy i dzieli przez niego różnicę między współczynnikami. Wynik to statystyka z: o ile błędów standardowych różnią się oba współczynniki. Wartość p pochodzi z rozkładu normalnego.
Przykład: wariant A ma 100 konwersji na 1000 odwiedzających (10%), a wariant B 130 na 1000 (13%). To względny wzrost o 30%, statystyka z około 2,10 i dwustronna wartość p około 0,036. B jest istotnie lepszy przy 95%, ale nie przy 99%.
Przedział ufności pokazuje zakres, w którym prawdopodobnie leży prawdziwa różnica. W przykładzie wynosi od około +0,2 do +5,8 punktu procentowego. Szeroki przedział oznacza, że test nie jest jeszcze precyzyjny, nawet jeśli wynik jest istotny.
Robisz ankietę zamiast testu? Kalkulator wielkości próby do ankiety powie Ci, ile odpowiedzi potrzebujesz.
Najpierw zaplanuj wielkość próby
Większość nieudanych testów jest za mała. Przed startem ustal najmniejszą zmianę, która ma dla Ciebie znaczenie, i sprawdź w planerze, ilu odwiedzających potrzebuje każdy wariant przy mocy 80%. Moc to szansa, że test wykryje efekt tej wielkości, jeśli on naprawdę istnieje. Potem prowadź test, aż osiągniesz tę liczbę, i prowadź go przez pełne tygodnie, aby objąć zarówno dni robocze, jak i weekendy.
Pomaga też kilka innych zasad:
- Testuj jedną zmianę naraz, na przykład nagrodę, format gry albo liczbę pól formularza, aby wiedzieć, co zrobiło różnicę.
- Wybierz wskaźnik przed testem. Współczynnik zapisów, ukończeń i zgód może zmieniać się w różnych kierunkach.
- Nie podglądaj i nie przerywaj. Zatrzymanie testu, gdy tylko wartość p spadnie poniżej 0,05, sprawia, że fałszywi zwycięzcy zdarzają się dużo częściej.
Nasz poradnik o testach A/B kampanii z grywalizacją pokazuje, co warto testować w kampanii, a lista wskaźników KPI w marketingu z grywalizacją pomoże wybrać wskaźnik. W Scratcherze liczby dla każdej kampanii znajdziesz w analityce. Aby zobaczyć, ile w pieniądzach jest wart lepszy współczynnik konwersji, użyj kalkulatora ROI kampanii.
Istotność statystyczna mówi, czy różnica jest prawdopodobnie prawdziwa, a nie czy jest na tyle duża, by miała znaczenie. Patrz też na wzrost i przedział ufności.
