Bezplatný nástroj
Kalkulačka A/B testovania
Overte, či je rozdiel medzi dvoma variantmi štatisticky významný, a vypočítajte, koľko návštevníkov test potrebuje. Zadarmo, bez registrácie a so zobrazením každého vzorca.
Čo znamená štatistická významnosť v A/B teste
V A/B teste ukážete dve verzie niečoho dvom náhodným skupinám ľudí a porovnáte, koľko z nich konvertuje. Variant B takmer nikdy nedosiahne presne rovnakú mieru ako variant A, aj keď zmena nemá vôbec žiadny vplyv. Otázkou je, či je rozdiel väčší, než by ste čakali len od náhody.
Na to odpovedá p-hodnota. Je to pravdepodobnosť, že uvidíte rozdiel aspoň takto veľký, ak by oba varianty v skutočnosti fungovali rovnako. P-hodnota 0,036 znamená, že rozdiel ako ten váš by sa náhodou objavil približne v 3,6 % testov bez skutočného rozdielu. Ak je p-hodnota nižšia ako váš prah (0,05 pre hladinu spoľahlivosti 95 %), výsledok sa označuje ako štatisticky významný.
Ako kalkulačka funguje
Kalkulačka používa z-test pre dva podiely. Spojí konverzie oboch variantov, aby odhadla mieru, ktorú by ste očakávali, keby rozdiel neexistoval, z toho vypočíta štandardnú chybu a rozdiel medzi oboma mierami ňou vydelí. Výsledkom je z-skóre: o koľko štandardných chýb sa obe miery líšia. P-hodnota vychádza z normálneho rozdelenia.
Príklad: variant A získa 100 konverzií z 1 000 návštevníkov (10 %) a variant B 130 z 1 000 (13 %). To je relatívny nárast 30 %, z-skóre približne 2,10 a obojstranná p-hodnota približne 0,036. B je významne lepší na hladine 95 %, ale nie na hladine 99 %.
Interval spoľahlivosti ukazuje rozsah, v ktorom pravdepodobne leží skutočný rozdiel. V príklade siaha približne od +0,2 do +5,8 percentuálneho bodu. Široký interval vám hovorí, že test ešte nie je presný, aj keď je významný.
Robíte prieskum, nie test? Kalkulačka veľkosti vzorky pre prieskum vám povie, koľko odpovedí potrebujete.
Najprv naplánujte veľkosť vzorky
Väčšina neúspešných testov je primalá. Pred začiatkom si určte najmenšiu zmenu, ktorá stojí za to, a pomocou plánovača testu zistite, koľko návštevníkov potrebuje každý variant pri sile 80 %. Sila je šanca, že test zachytí efekt danej veľkosti, ak naozaj existuje. Potom nechajte test bežať, kým nedosiahnete toto číslo, a nechajte ho bežať celé týždne, aby boli zahrnuté pracovné dni aj víkendy.
Pomôže aj niekoľko ďalších pravidiel:
- Testujte vždy len jednu zmenu, napríklad výhru, herný formát alebo počet polí formulára, aby ste vedeli, čo spôsobilo rozdiel.
- Metriku si vyberte pred testom. Miera registrácií, miera dokončenia a miera súhlasov sa môžu hýbať rôznymi smermi.
- Nenakúkajte a nezastavujte. Zastavenie hneď, ako p-hodnota klesne pod 0,05, robí falošných víťazov oveľa častejšími.
Náš návod na A/B testovanie gamifikovaných kampaní ukazuje, čo sa v kampani oplatí testovať, a zoznam KPI gamifikačného marketingu vám pomôže vybrať metriku. V Scratcheri nájdete čísla pre každú kampaň v analytike. Ak chcete zistiť, akú peňažnú hodnotu má lepšia konverzná miera, použite kalkulačku ROI kampane.
Štatistická významnosť vám povie, či je rozdiel pravdepodobne skutočný, nie či je dosť veľký na to, aby na ňom záležalo. Pozrite sa aj na nárast a interval spoľahlivosti.
Je kalkulačka A/B testov zadarmo?
Áno. Použitie je bezplatné tak často, ako chcete, a nepotrebujete účet. Nič z toho, čo zadáte, sa k nám neodosiela.
Aká p-hodnota sa považuje za významnú?
Závisí to od hladiny spoľahlivosti, ktorú si zvolíte pred testom. Pri 95 % je významná p-hodnota nižšia ako 0,05. Pri 90 % je prah 0,10 a pri 99 % je to 0,01. Prísnejšia hladina znamená menej falošných víťazov, ale vyžaduje viac návštevníkov.
Mám použiť jednostranný alebo obojstranný test?
Použite obojstranný, pokiaľ ste sa vopred nerozhodli, že vás zaujíma len to, či je B lepší, a horší variant B by ste brali rovnako ako žiadny rozdiel. Jednostranný test dosiahne významnosť skôr, ale nedokáže vám povedať, že B je horší.
Môj výsledok nie je významný. Čo teraz?
Znamená to, že test rozdiel nepreukázal, nie že žiadny neexistuje. Pozrite sa do plánovača testu: ak máte oveľa menej návštevníkov, než je potrebné, nechajte test bežať. Ak ste dosiahli plánovanú veľkosť vzorky, považujte varianty za rovnocenné a otestujte väčšiu zmenu.
Prečo kalkulačka upozorňuje na malé vzorky?
Z-test sa opiera o aproximáciu, ktorá funguje len vtedy, keď má každý variant dostatok konverzií aj nekonverzií, zhruba 5 alebo viac z každých. Pri menšom množstve dát môže byť p-hodnota zavádzajúca, preto pred rozhodnutím zozbierajte viac.
Nechajte ďalšie žrebovanie bežať automaticky
Vytvorte súťaž na vlastnej stránke, zbierajte e-maily a súhlasy a nechajte výhercov vyžrebovať automaticky. Vyskúšajte si to na 14 dní zadarmo, bez nutnosti zadať kreditnú kartu.