Besplatan alat
Kalkulator A/B testa
Provjerite je li razlika između dviju varijanti statistički značajna i izračunajte koliko posjetitelja test treba. Besplatno, bez registracije, uz prikaz svih formula.
Što znači statistička značajnost u A/B testu
U A/B testu dvjema nasumičnim skupinama ljudi prikazujete dvije verzije nečega i uspoređujete koliko ih konvertira. Varijanta B gotovo nikad nema potpuno istu stopu kao varijanta A, čak ni kada promjena nema nikakav učinak. Pitanje je je li razlika veća nego što biste očekivali samo zbog slučajnosti.
Na to odgovara p-vrijednost. To je vjerojatnost da vidite razliku barem ove veličine ako su obje varijante zapravo jednako uspješne. P-vrijednost od 0,036 znači da bi se razlika poput vaše slučajno pojavila u oko 3,6 % testova bez stvarne razlike. Ako je p-vrijednost ispod vašeg praga (0,05 za razinu pouzdanosti od 95 %), rezultat se smatra statistički značajnim.
Kako kalkulator radi
Kalkulator koristi z-test za dvije proporcije. Objedinjuje konverzije obiju varijanti kako bi procijenio stopu koju biste očekivali da nema razlike, iz nje izračunava standardnu pogrešku i njome dijeli razliku između dviju stopa. Rezultat je z-vrijednost: koliko su standardnih pogrešaka dvije stope međusobno udaljene. P-vrijednost proizlazi iz normalne distribucije.
Primjer: varijanta A ostvaruje 100 konverzija od 1.000 posjetitelja (10 %), a varijanta B 130 od 1.000 (13 %). To je relativni porast od 30 %, z-vrijednost od oko 2,10 i dvostrana p-vrijednost od oko 0,036. B je značajno bolja uz 95 %, ali ne i uz 99 %.
Interval pouzdanosti pokazuje raspon u kojem se vjerojatno nalazi stvarna razlika. U primjeru on ide od oko +0,2 do +5,8 postotnih bodova. Širok interval govori vam da test još nije precizan, čak i ako je značajan.
Provodite anketu, a ne test? Kalkulator veličine uzorka za ankete reći će vam koliko odgovora trebate.
Najprije isplanirajte veličinu uzorka
Većina neuspjelih testova premala je. Prije početka odredite najmanju promjenu koja se isplati i pomoću alata za planiranje provjerite koliko posjetitelja treba svakoj varijanti uz snagu od 80 %. Snaga je vjerojatnost da test otkrije učinak te veličine ako on doista postoji. Zatim provodite test dok ne dosegnete taj broj i to u punim tjednima, kako bi bili obuhvaćeni i radni dani i vikendi.
Pomaže i nekoliko drugih pravila:
- Testirajte jednu promjenu odjednom, primjerice nagradu, format igre ili broj polja u obrascu, kako biste znali što je napravilo razliku.
- Odaberite metriku prije testa. Stopa registracija, stopa dovršetka i stopa privola mogu se kretati u različitim smjerovima.
- Ne virite i ne prekidajte. Prekid čim p-vrijednost padne ispod 0,05 znatno češće daje lažne pobjednike.
Naš vodič za A/B testiranje gamificiranih kampanja pokazuje što se u kampanji isplati testirati, a popis KPI-jeva za gamifikacijski marketing pomaže vam odabrati metriku. U Scratcheru brojke za svaku kampanju nalaze se u analitici. Da biste vidjeli koliko bolja stopa konverzije vrijedi u novcu, upotrijebite kalkulator povrata ulaganja kampanje.
Statistička značajnost govori vam je li razlika vjerojatno stvarna, a ne je li dovoljno velika da bi bila važna. Pogledajte i porast i interval pouzdanosti.
Je li kalkulator A/B testa besplatan?
Da. Možete ga besplatno koristiti koliko god često želite i ne trebate račun. Ništa što unesete ne šalje se nama.
Koja se p-vrijednost smatra značajnom?
Ovisi o razini pouzdanosti koju odaberete prije testa. Uz 95 % značajna je p-vrijednost ispod 0,05. Uz 90 % prag je 0,10, a uz 99 % iznosi 0,01. Stroža razina znači manje lažnih pobjednika, ali zahtijeva više posjetitelja.
Trebam li koristiti jednostrani ili dvostrani test?
Koristite dvostrani, osim ako ste unaprijed odlučili da vas zanima samo je li B bolji te biste lošiji B tretirali isto kao izostanak razlike. Jednostrani test brže doseže značajnost, ali vam ne može reći da je B lošiji.
Moj rezultat nije značajan. Što sada?
To znači da test nije pokazao razliku, a ne da razlike nema. Provjerite alat za planiranje: ako imate znatno manje posjetitelja nego što je potrebno, nastavite test. Ako ste dosegnuli planiranu veličinu uzorka, smatrajte varijante jednakima i testirajte veću promjenu.
Zašto kalkulator upozorava na male uzorke?
Z-test se oslanja na aproksimaciju koja funkcionira samo kada svaka varijanta ima dovoljno konverzija i nekonverzija, otprilike 5 ili više od svake. S manje podataka p-vrijednost može zavarati, stoga prikupite više prije odluke.
Neka se sljedeće izvlačenje odvije samo
Provedite natječaj na vlastitoj stranici, prikupljajte e-adrese i privole, a dobitnici će biti izvučeni umjesto vas. Isprobajte besplatno 14 dana, bez kreditne kartice.