Brezplačno orodje
Kalkulator A/B testa
Preverite, ali je razlika med dvema različicama statistično značilna, in izračunajte, koliko obiskovalcev potrebuje test. Brezplačno, brez registracije, z vsemi prikazanimi formulami.
Kaj pomeni statistična značilnost v A/B testu
Pri A/B testu pokažete dve različici nečesa dvema naključnima skupinama ljudi in primerjate, koliko jih konvertira. Različica B skoraj nikoli nima popolnoma enake stopnje kot različica A, tudi če sprememba nima nobenega učinka. Vprašanje je, ali je razlika večja, kot bi jo pričakovali zgolj po naključju.
Na to odgovarja p-vrednost. To je verjetnost, da bi opazili vsaj tako veliko razliko, če bi obe različici v resnici delovali enako. P-vrednost 0,036 pomeni, da bi se razlika, kot je vaša, po naključju pojavila v približno 3,6 % testov brez resnične razlike. Če je p-vrednost pod vašim pragom (0,05 pri 95-odstotni stopnji zaupanja), je rezultat statistično značilen.
Kako deluje kalkulator
Kalkulator uporablja z-test za dva deleža. Združi konverzije obeh različic, da oceni stopnjo, ki bi jo pričakovali, če razlike ne bi bilo, iz nje izračuna standardno napako in z njo deli razliko med stopnjama. Rezultat je z-vrednost: za koliko standardnih napak sta stopnji narazen. P-vrednost izhaja iz normalne porazdelitve.
Primer: različica A doseže 100 konverzij od 1.000 obiskovalcev (10 %), različica B pa 130 od 1.000 (13 %). To je relativni dvig 30 %, z-vrednost približno 2,10 in dvostranska p-vrednost približno 0,036. B je značilno boljša pri 95 %, ne pa pri 99 %.
Interval zaupanja kaže razpon, v katerem verjetno leži prava razlika. V primeru sega od približno +0,2 do +5,8 odstotne točke. Širok interval pove, da test še ni natančen, tudi če je značilen.
Izvajate anketo namesto testa? Kalkulator velikosti vzorca za ankete vam pove, koliko odgovorov potrebujete.
Najprej načrtujte velikost vzorca
Večina neuspešnih testov je premajhnih. Pred začetkom določite najmanjšo spremembo, ki je vredna ukrepanja, in s pomočnikom pred testom preverite, koliko obiskovalcev potrebuje vsaka različica pri 80-odstotni moči. Moč je verjetnost, da test zazna učinek te velikosti, če ta res obstaja. Nato izvajajte test, dokler ne dosežete tega števila, in ga izvajajte cele tedne, da zajamete delovnike in vikende.
Pomaga še nekaj pravil:
- Testirajte eno spremembo naenkrat, na primer nagrado, format igre ali število polj v obrazcu, da veste, kaj je naredilo razliko.
- Metriko izberite pred testom. Stopnja registracij, stopnja dokončanja in stopnja privolitev se lahko gibljejo v različnih smereh.
- Ne kukajte in ne ustavljajte. Če test ustavite takoj, ko p-vrednost pade pod 0,05, so lažni zmagovalci veliko pogostejši.
Naš vodnik za A/B testiranje igrificiranih kampanj pokaže, kaj je v kampanji vredno testirati, seznam KPI-jev za marketing z igrifikacijo pa vam pomaga izbrati metriko. V Scratcherju so številke za vsako kampanjo v analitiki. Če želite videti, koliko je boljša stopnja konverzije vredna v denarju, uporabite kalkulator donosnosti kampanje.
Statistična značilnost pove, ali je razlika verjetno resnična, ne pa, ali je dovolj velika, da bi bila pomembna. Upoštevajte tudi dvig in interval zaupanja.
Ali je kalkulator A/B testa brezplačen?
Da. Uporabljate ga lahko brezplačno in kolikorkrat želite, račun ni potreben. Nič od vnesenega nam ni poslano.
Katera p-vrednost velja za značilno?
Odvisno od stopnje zaupanja, ki jo izberete pred testom. Pri 95 % je značilna p-vrednost pod 0,05. Pri 90 % je prag 0,10, pri 99 % pa 0,01. Strožja stopnja pomeni manj lažnih zmagovalcev, vendar potrebuje več obiskovalcev.
Naj uporabim enostranski ali dvostranski test?
Uporabite dvostranskega, razen če ste vnaprej odločili, da vas zanima le, ali je B boljša, in bi slabšo B obravnavali enako kot odsotnost razlike. Enostranski test hitreje doseže značilnost, vendar vam ne more povedati, da je B slabša.
Moj rezultat ni značilen. Kaj zdaj?
To pomeni, da test ni pokazal razlike, ne pa, da je ni. Preverite pomočnika pred testom: če imate precej manj obiskovalcev, kot je potrebno, nadaljujte test. Če ste dosegli načrtovano velikost vzorca, različici obravnavajte kot enakovredni in testirajte večjo spremembo.
Zakaj kalkulator opozarja na majhne vzorce?
Z-test temelji na približku, ki deluje le, kadar ima vsaka različica dovolj konverzij in nekonverzij, približno 5 ali več vsakih. Pri manj podatkih je lahko p-vrednost zavajajoča, zato pred odločitvijo zberite več podatkov.
Naj se naslednje žrebanje izvede samo
Izvedite nagradno igro na svoji strani, zbirajte e-naslove in privolitve ter prepustite žrebanje zmagovalcev nam. Preizkusite brezplačno 14 dni, brez kreditne kartice.