Preskočiť na obsah
Rex, váš AI asistent: rutinu vybaví za vás, nápady ostávajú vaše 👉 Zoznámte sa s Rexom

Bezplatný nástroj

Kalkulačka A/B testovania

Overte, či je rozdiel medzi dvoma variantmi štatisticky významný, a vypočítajte, koľko návštevníkov test potrebuje. Zadarmo, bez registrácie a so zobrazením každého vzorca.

Variant A (kontrolný)
Variant B
Nastavenia testu
Typ testu

Obojstranný test overuje, či sa B líši od A ktorýmkoľvek smerom. Jednostranný test overuje len to, či je B lepší. Vyberte si pred začiatkom testu, nie až keď uvidíte čísla.

Výsledok

Konverzná miera A
–
Konverzná miera B
–
Relatívny nárast (B oproti A)
–
Z-skóre
–
P-hodnota
–
–

Koľko návštevníkov váš test potrebuje?

Naplánujte test skôr, než začne. Zadajte svoju aktuálnu konverznú mieru a najmenšiu zmenu, na základe ktorej by ste konali.

Relatívna zmena: 20 znamená, že chcete zachytiť posun z 10 % na 12 %. Čím menší efekt, tým viac návštevníkov potrebujete.

Potrebný počet návštevníkov na variant

–

Ako sa to počítaz

  • Konverzná miera: pA = konverzie A ÷ návštevníci A, a rovnako pre B
  • Relatívny nárast: (pB − pA) ÷ pA
  • Spoločná miera: p = (konverzie A + konverzie B) ÷ (návštevníci A + návštevníci B)
  • Spoločná štandardná chyba: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), kde n je počet návštevníkov
  • Z-skóre: z = (pB − pA) ÷ SE
  • P-hodnota: obojstranná 2 × (1 − Φ(|z|)), jednostranná 1 − Φ(z), kde Φ je štandardné normálne rozdelenie. Výsledok je významný, keď je p-hodnota nižšia ako 1 − hladina spoľahlivosti, napr. 0,05 pri 95 %.
  • Interval spoľahlivosti pre rozdiel: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), kde z* = 1,645, 1,960 alebo 2,576 pre 90 %, 95 % alebo 99 %. Tento interval používa nespoločnú štandardnú chybu.
  • Návštevníci na variant: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², kde p1 je aktuálna miera, p2 = p1 × (1 + efekt), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 alebo 2,576 a zβ = 0,842 pre silu 80 % alebo 1,282 pre 90 %. Výsledok sa zaokrúhľuje nahor.

Kalkulačka beží vo vašom prehliadači a nič z toho, čo zadáte, sa nám neodosiela. Používa z-test pre dva podiely, čo je štandardný test na porovnanie dvoch konverzných mier, keď má každý variant primeraný počet konverzií. Veľkosť vzorky si určte pred začiatkom testu a nezastavujte ho v momente, keď sa výsledok stane významným: opakované kontrolovanie zvyšuje pravdepodobnosť falošne pozitívnych výsledkov.

Čo znamená štatistická významnosť v A/B teste

V A/B teste ukážete dve verzie niečoho dvom náhodným skupinám ľudí a porovnáte, koľko z nich konvertuje. Variant B takmer nikdy nedosiahne presne rovnakú mieru ako variant A, aj keď zmena nemá vôbec žiadny vplyv. Otázkou je, či je rozdiel väčší, než by ste čakali len od náhody.

Na to odpovedá p-hodnota. Je to pravdepodobnosť, že uvidíte rozdiel aspoň takto veľký, ak by oba varianty v skutočnosti fungovali rovnako. P-hodnota 0,036 znamená, že rozdiel ako ten váš by sa náhodou objavil približne v 3,6 % testov bez skutočného rozdielu. Ak je p-hodnota nižšia ako váš prah (0,05 pre hladinu spoľahlivosti 95 %), výsledok sa označuje ako štatisticky významný.

Ako kalkulačka funguje

Kalkulačka používa z-test pre dva podiely. Spojí konverzie oboch variantov, aby odhadla mieru, ktorú by ste očakávali, keby rozdiel neexistoval, z toho vypočíta štandardnú chybu a rozdiel medzi oboma mierami ňou vydelí. Výsledkom je z-skóre: o koľko štandardných chýb sa obe miery líšia. P-hodnota vychádza z normálneho rozdelenia.

Príklad: variant A získa 100 konverzií z 1 000 návštevníkov (10 %) a variant B 130 z 1 000 (13 %). To je relatívny nárast 30 %, z-skóre približne 2,10 a obojstranná p-hodnota približne 0,036. B je významne lepší na hladine 95 %, ale nie na hladine 99 %.

Interval spoľahlivosti ukazuje rozsah, v ktorom pravdepodobne leží skutočný rozdiel. V príklade siaha približne od +0,2 do +5,8 percentuálneho bodu. Široký interval vám hovorí, že test ešte nie je presný, aj keď je významný.

Robíte prieskum, nie test? Kalkulačka veľkosti vzorky pre prieskum vám povie, koľko odpovedí potrebujete.

Najprv naplánujte veľkosť vzorky

Väčšina neúspešných testov je primalá. Pred začiatkom si určte najmenšiu zmenu, ktorá stojí za to, a pomocou plánovača testu zistite, koľko návštevníkov potrebuje každý variant pri sile 80 %. Sila je šanca, že test zachytí efekt danej veľkosti, ak naozaj existuje. Potom nechajte test bežať, kým nedosiahnete toto číslo, a nechajte ho bežať celé týždne, aby boli zahrnuté pracovné dni aj víkendy.

Pomôže aj niekoľko ďalších pravidiel:

  1. Testujte vždy len jednu zmenu, napríklad výhru, herný formát alebo počet polí formulára, aby ste vedeli, čo spôsobilo rozdiel.
  2. Metriku si vyberte pred testom. Miera registrácií, miera dokončenia a miera súhlasov sa môžu hýbať rôznymi smermi.
  3. Nenakúkajte a nezastavujte. Zastavenie hneď, ako p-hodnota klesne pod 0,05, robí falošných víťazov oveľa častejšími.

Náš návod na A/B testovanie gamifikovaných kampaní ukazuje, čo sa v kampani oplatí testovať, a zoznam KPI gamifikačného marketingu vám pomôže vybrať metriku. V Scratcheri nájdete čísla pre každú kampaň v analytike. Ak chcete zistiť, akú peňažnú hodnotu má lepšia konverzná miera, použite kalkulačku ROI kampane.

Štatistická významnosť vám povie, či je rozdiel pravdepodobne skutočný, nie či je dosť veľký na to, aby na ňom záležalo. Pozrite sa aj na nárast a interval spoľahlivosti.

Otázky

Otázky o významnosti A/B testov

Rezervovať stretnutie
Je kalkulačka A/B testov zadarmo?

Áno. Použitie je bezplatné tak často, ako chcete, a nepotrebujete účet. Nič z toho, čo zadáte, sa k nám neodosiela.

Aká p-hodnota sa považuje za významnú?

Závisí to od hladiny spoľahlivosti, ktorú si zvolíte pred testom. Pri 95 % je významná p-hodnota nižšia ako 0,05. Pri 90 % je prah 0,10 a pri 99 % je to 0,01. Prísnejšia hladina znamená menej falošných víťazov, ale vyžaduje viac návštevníkov.

Mám použiť jednostranný alebo obojstranný test?

Použite obojstranný, pokiaľ ste sa vopred nerozhodli, že vás zaujíma len to, či je B lepší, a horší variant B by ste brali rovnako ako žiadny rozdiel. Jednostranný test dosiahne významnosť skôr, ale nedokáže vám povedať, že B je horší.

Môj výsledok nie je významný. Čo teraz?

Znamená to, že test rozdiel nepreukázal, nie že žiadny neexistuje. Pozrite sa do plánovača testu: ak máte oveľa menej návštevníkov, než je potrebné, nechajte test bežať. Ak ste dosiahli plánovanú veľkosť vzorky, považujte varianty za rovnocenné a otestujte väčšiu zmenu.

Prečo kalkulačka upozorňuje na malé vzorky?

Z-test sa opiera o aproximáciu, ktorá funguje len vtedy, keď má každý variant dostatok konverzií aj nekonverzií, zhruba 5 alebo viac z každých. Pri menšom množstve dát môže byť p-hodnota zavádzajúca, preto pred rozhodnutím zozbierajte viac.

Nechajte ďalšie žrebovanie bežať automaticky

Vytvorte súťaž na vlastnej stránke, zbierajte e-maily a súhlasy a nechajte výhercov vyžrebovať automaticky. Vyskúšajte si to na 14 dní zadarmo, bez nutnosti zadať kreditnú kartu.