Co znamená statistická významnost v A/B testu
V A/B testu ukazujete dvě verze něčeho dvěma náhodným skupinám lidí a porovnáváte, kolik z nich konvertuje. Varianta B skoro nikdy nemá přesně stejný poměr jako varianta A, i když změna nemá žádný vliv. Otázka zní, zda je rozdíl větší, než by se dalo čekat jen díky náhodě.
Na to odpovídá p-hodnota. Je to pravděpodobnost, že uvidíte alespoň tak velký rozdíl, pokud by obě varianty ve skutečnosti fungovaly stejně. P-hodnota 0,036 znamená, že takový rozdíl by se náhodou objevil asi ve 3,6 % testů bez skutečného rozdílu. Pokud je p-hodnota pod vaší hranicí (0,05 pro hladinu spolehlivosti 95 %), výsledek se označuje jako statisticky významný.
Jak kalkulačka funguje
Kalkulačka používá z-test pro dvě proporce. Sloučí konverze obou variant, aby odhadla poměr, který by se dal čekat, kdyby rozdíl neexistoval, spočítá z něj směrodatnou chybu a vydělí jí rozdíl mezi oběma poměry. Výsledkem je z-skóre: o kolik směrodatných chyb se oba poměry liší. P-hodnota vychází z normálního rozdělení.
Příklad: varianta A má 100 konverzí z 1 000 návštěvníků (10 %) a varianta B 130 z 1 000 (13 %). To je relativní nárůst o 30 %, z-skóre asi 2,10 a oboustranná p-hodnota asi 0,036. B je významně lepší při 95 %, ale ne při 99 %.
Interval spolehlivosti ukazuje rozsah, ve kterém skutečný rozdíl pravděpodobně leží. V příkladu vychází zhruba od +0,2 do +5,8 procentního bodu. Široký interval říká, že test zatím není přesný, i když je významný.
Děláte místo testu dotazník? Výpočet velikosti vzorku pro dotazník vám řekne, kolik odpovědí potřebujete.
Nejdřív naplánujte velikost vzorku
Většina nepovedených testů je příliš malá. Před začátkem si určete nejmenší změnu, kvůli které byste jednali, a v plánovači zjistěte, kolik návštěvníků potřebuje každá varianta při síle 80 %. Síla je pravděpodobnost, že test zachytí efekt této velikosti, pokud opravdu existuje. Pak nechte test běžet, dokud tohoto počtu nedosáhnete, a to celé týdny, aby zahrnul pracovní dny i víkendy.
Pomůže i několik dalších pravidel:
- Testujte vždy jen jednu změnu, například výhru, herní formát nebo počet polí formuláře, abyste věděli, co rozdíl způsobilo.
- Metriku zvolte před testem. Míra registrací, dokončení a souhlasů se může hýbat různými směry.
- Nenakukujte a nezastavujte. Když test zastavíte hned, jak p-hodnota klesne pod 0,05, falešní vítězové se objevují mnohem častěji.
Náš návod k A/B testování gamifikovaných kampaní ukazuje, co má smysl v kampani testovat, a přehled KPI gamifikačního marketingu vám pomůže vybrat metriku. Ve Scratcheru najdete čísla každé kampaně v analytice. Kolik v penězích znamená lepší konverzní poměr, zjistíte v kalkulačce ROI kampaně.
Statistická významnost říká, zda je rozdíl pravděpodobně skutečný, ne zda je dost velký, aby na něm záleželo. Dívejte se i na nárůst a interval spolehlivosti.
