Preskoči na vsebino
Rex, vaš pomočnik UI: rutinsko delo opravi on, ideje so vaše 👉 Spoznajte Rexa

Brezplačno orodje

Kalkulator A/B testa

Preverite, ali je razlika med dvema različicama statistično značilna, in izračunajte, koliko obiskovalcev potrebuje test. Brezplačno, brez registracije, z vsemi prikazanimi formulami.

Različica A (kontrolna)
Različica B
Nastavitve testa
Vrsta testa

Dvostranski test preveri, ali se B od A razlikuje v katerikoli smeri. Enostranski test preveri le, ali je B boljša. Izberite pred začetkom testa, ne potem, ko ste že videli številke.

Rezultat

Stopnja konverzije A
–
Stopnja konverzije B
–
Relativni dvig (B proti A)
–
Z-vrednost
–
P-vrednost
–
–

Koliko obiskovalcev potrebuje vaš test?

Test načrtujte, preden se začne. Vnesite trenutno stopnjo konverzije in najmanjšo spremembo, na podlagi katere bi ukrepali.

Relativna sprememba: 20 pomeni, da želite zaznati premik z 10 % na 12 %. Manjši ko je učinek, več obiskovalcev potrebujete.

Potrebni obiskovalci na različico

–

Kako se izračuna

  • Stopnja konverzije: pA = konverzije A ÷ obiskovalci A, enako za B
  • Relativni dvig: (pB − pA) ÷ pA
  • Združena stopnja: p = (konverzije A + konverzije B) ÷ (obiskovalci A + obiskovalci B)
  • Združena standardna napaka: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), kjer je n število obiskovalcev
  • Z-vrednost: z = (pB − pA) ÷ SE
  • P-vrednost: dvostranska 2 × (1 − Φ(|z|)), enostranska 1 − Φ(z), kjer je Φ standardna normalna porazdelitev. Rezultat je značilen, ko je p-vrednost manjša od 1 − stopnja zaupanja, npr. 0,05 pri 95 %.
  • Interval zaupanja za razliko: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), pri čemer je z* = 1,645, 1,960 ali 2,576 za 90 %, 95 % ali 99 %. Ta interval uporablja nezdruženo standardno napako.
  • Obiskovalci na različico: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², kjer je p1 trenutna stopnja, p2 = p1 × (1 + učinek), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 ali 2,576 in zβ = 0,842 za 80-odstotno moč ali 1,282 za 90-odstotno. Rezultat se zaokroži navzgor.

Kalkulator deluje v vašem brskalniku in nič od vnesenega nam ni poslano. Uporablja z-test za dva deleža, ki je standardni test za primerjavo dveh stopenj konverzije, kadar ima vsaka različica razumno število konverzij. Velikost vzorca določite pred začetkom testa in ga ne ustavite v trenutku, ko rezultat postane značilen: vnovično preverjanje poveča verjetnost lažno pozitivnih rezultatov.

Kaj pomeni statistična značilnost v A/B testu

Pri A/B testu pokažete dve različici nečesa dvema naključnima skupinama ljudi in primerjate, koliko jih konvertira. Različica B skoraj nikoli nima popolnoma enake stopnje kot različica A, tudi če sprememba nima nobenega učinka. Vprašanje je, ali je razlika večja, kot bi jo pričakovali zgolj po naključju.

Na to odgovarja p-vrednost. To je verjetnost, da bi opazili vsaj tako veliko razliko, če bi obe različici v resnici delovali enako. P-vrednost 0,036 pomeni, da bi se razlika, kot je vaša, po naključju pojavila v približno 3,6 % testov brez resnične razlike. Če je p-vrednost pod vašim pragom (0,05 pri 95-odstotni stopnji zaupanja), je rezultat statistično značilen.

Kako deluje kalkulator

Kalkulator uporablja z-test za dva deleža. Združi konverzije obeh različic, da oceni stopnjo, ki bi jo pričakovali, če razlike ne bi bilo, iz nje izračuna standardno napako in z njo deli razliko med stopnjama. Rezultat je z-vrednost: za koliko standardnih napak sta stopnji narazen. P-vrednost izhaja iz normalne porazdelitve.

Primer: različica A doseže 100 konverzij od 1.000 obiskovalcev (10 %), različica B pa 130 od 1.000 (13 %). To je relativni dvig 30 %, z-vrednost približno 2,10 in dvostranska p-vrednost približno 0,036. B je značilno boljša pri 95 %, ne pa pri 99 %.

Interval zaupanja kaže razpon, v katerem verjetno leži prava razlika. V primeru sega od približno +0,2 do +5,8 odstotne točke. Širok interval pove, da test še ni natančen, tudi če je značilen.

Izvajate anketo namesto testa? Kalkulator velikosti vzorca za ankete vam pove, koliko odgovorov potrebujete.

Najprej načrtujte velikost vzorca

Večina neuspešnih testov je premajhnih. Pred začetkom določite najmanjšo spremembo, ki je vredna ukrepanja, in s pomočnikom pred testom preverite, koliko obiskovalcev potrebuje vsaka različica pri 80-odstotni moči. Moč je verjetnost, da test zazna učinek te velikosti, če ta res obstaja. Nato izvajajte test, dokler ne dosežete tega števila, in ga izvajajte cele tedne, da zajamete delovnike in vikende.

Pomaga še nekaj pravil:

  1. Testirajte eno spremembo naenkrat, na primer nagrado, format igre ali število polj v obrazcu, da veste, kaj je naredilo razliko.
  2. Metriko izberite pred testom. Stopnja registracij, stopnja dokončanja in stopnja privolitev se lahko gibljejo v različnih smereh.
  3. Ne kukajte in ne ustavljajte. Če test ustavite takoj, ko p-vrednost pade pod 0,05, so lažni zmagovalci veliko pogostejši.

Naš vodnik za A/B testiranje igrificiranih kampanj pokaže, kaj je v kampanji vredno testirati, seznam KPI-jev za marketing z igrifikacijo pa vam pomaga izbrati metriko. V Scratcherju so številke za vsako kampanjo v analitiki. Če želite videti, koliko je boljša stopnja konverzije vredna v denarju, uporabite kalkulator donosnosti kampanje.

Statistična značilnost pove, ali je razlika verjetno resnična, ne pa, ali je dovolj velika, da bi bila pomembna. Upoštevajte tudi dvig in interval zaupanja.

Vprašanja

Vprašanja o značilnosti A/B testa

Rezervirajte sestanek
Ali je kalkulator A/B testa brezplačen?

Da. Uporabljate ga lahko brezplačno in kolikorkrat želite, račun ni potreben. Nič od vnesenega nam ni poslano.

Katera p-vrednost velja za značilno?

Odvisno od stopnje zaupanja, ki jo izberete pred testom. Pri 95 % je značilna p-vrednost pod 0,05. Pri 90 % je prag 0,10, pri 99 % pa 0,01. Strožja stopnja pomeni manj lažnih zmagovalcev, vendar potrebuje več obiskovalcev.

Naj uporabim enostranski ali dvostranski test?

Uporabite dvostranskega, razen če ste vnaprej odločili, da vas zanima le, ali je B boljša, in bi slabšo B obravnavali enako kot odsotnost razlike. Enostranski test hitreje doseže značilnost, vendar vam ne more povedati, da je B slabša.

Moj rezultat ni značilen. Kaj zdaj?

To pomeni, da test ni pokazal razlike, ne pa, da je ni. Preverite pomočnika pred testom: če imate precej manj obiskovalcev, kot je potrebno, nadaljujte test. Če ste dosegli načrtovano velikost vzorca, različici obravnavajte kot enakovredni in testirajte večjo spremembo.

Zakaj kalkulator opozarja na majhne vzorce?

Z-test temelji na približku, ki deluje le, kadar ima vsaka različica dovolj konverzij in nekonverzij, približno 5 ali več vsakih. Pri manj podatkih je lahko p-vrednost zavajajoča, zato pred odločitvijo zberite več podatkov.

Naj se naslednje žrebanje izvede samo

Izvedite nagradno igro na svoji strani, zbirajte e-naslove in privolitve ter prepustite žrebanje zmagovalcev nam. Preizkusite brezplačno 14 dni, brez kreditne kartice.