Ingyenes eszköz
A/B-teszt kalkulátor
Ellenőrizze, hogy két változat közötti különbség statisztikailag szignifikáns-e, és számolja ki, hány látogatóra van szüksége egy tesztnek. Ingyenes, regisztráció nélkül, és minden képletet megmutatunk.
Mit jelent a statisztikai szignifikancia egy A/B-tesztben?
Egy A/B-tesztben valaminek két változatát mutatja meg két véletlenszerűen kiválasztott csoportnak, és összehasonlítja, hányan konvertálnak. A B változat szinte soha nem ér el pontosan ugyanolyan arányt, mint az A, még akkor sem, ha a változtatásnak egyáltalán nincs hatása. A kérdés az, hogy a különbség nagyobb-e annál, amit pusztán a véletlentől várna.
Erre a p-érték ad választ. Ez annak a valószínűsége, hogy legalább ekkora különbséget lát, ha a két változat valójában ugyanúgy teljesített. A 0,036-os p-érték azt jelenti, hogy az Önéhez hasonló különbség a valódi különbség nélküli tesztek körülbelül 3,6%-ában a véletlen folytán is előfordulna. Ha a p-érték a küszöbérték alatt van (95%-os konfidenciaszintnél 0,05), az eredményt statisztikailag szignifikánsnak nevezzük.
Hogyan működik a kalkulátor?
A kalkulátor kétmintás arányteszten alapuló z-próbát használ. Összevonja mindkét változat konverzióit, hogy megbecsülje azt az arányt, amelyet különbség hiányában várna, ebből kiszámítja a standard hibát, és ezzel elosztja a két arány közötti különbséget. Az eredmény a z-érték: hány standard hibányira van egymástól a két arány. A p-érték a normális eloszlásból adódik.
Egy példa: az A változat 1000 látogatóból 100 konverziót ér el (10%), a B változat 1000-ből 130-at (13%). Ez 30%-os relatív növekedés, körülbelül 2,10-es z-érték és körülbelül 0,036-os kétoldali p-érték. B 95%-on szignifikánsan jobb, de 99%-on nem.
A konfidenciaintervallum azt a tartományt mutatja, amelyben a valódi különbség valószínűleg található. A példában ez körülbelül +0,2 és +5,8 százalékpont között van. Egy széles intervallum azt jelzi, hogy a teszt még nem pontos, még ha szignifikáns is.
Teszt helyett kérdőívet futtat? A kérdőív-mintaméret kalkulátor megmondja, hány válaszra van szüksége.
Először tervezze meg a mintaméretet
A legtöbb sikertelen teszt túl kicsi. Indulás előtt döntse el, mekkora az a legkisebb változás, amely alapján érdemes lépni, és a teszt előtti segédlettel nézze meg, hány látogatóra van szüksége változatonként 80%-os statisztikai erő mellett. A statisztikai erő annak az esélye, hogy a teszt kimutat egy ekkora hatást, ha az valóban létezik. Ezután futtassa a tesztet, amíg el nem éri ezt a számot, és teljes heteken át futtassa, hogy a hétköznapok és a hétvégék is benne legyenek.
Néhány további szabály is segít:
- Egyszerre egy változtatást teszteljen, például a nyereményt, a játékformátumot vagy az űrlapmezők számát, hogy tudja, mi okozta a különbséget.
- A mutatót a teszt előtt válassza ki. A regisztrációs arány, a befejezési arány és a feliratkozási arány különböző irányba mozdulhat.
- Ne kukucskáljon, és ne álljon le idő előtt. Ha leállítja a tesztet, amint a p-érték 0,05 alá csökken, sokkal gyakoribbak lesznek a téves győztesek.
A játékos kampányok A/B-teszteléséről szóló útmutatónk megmutatja, mit érdemes tesztelni egy kampányban, a gamifikációs marketing-KPI-ok listája pedig segít kiválasztani a mutatót. A Scratcherben az egyes kampányok számai az analitikában találhatók. Ha szeretné látni, mennyit ér pénzben egy jobb konverziós arány, használja a kampány-ROI-kalkulátort.
A statisztikai szignifikancia azt mutatja meg, hogy egy különbség valószínűleg valós-e, nem azt, hogy elég nagy-e ahhoz, hogy számítson. Nézze meg a növekedést és a konfidenciaintervallumot is.
Ingyenes az A/B-teszt-kalkulátor?
Igen. Olyan gyakran használhatja ingyenesen, amilyen gyakran csak szeretné, és fiókra sincs szükség. Semmilyen beírt adatot nem küldünk el nekünk.
Milyen p-érték számít szignifikánsnak?
Ez a teszt előtt választott konfidenciaszinttől függ. 95%-nál a 0,05 alatti p-érték szignifikáns. 90%-nál a küszöb 0,10, 99%-nál pedig 0,01. A szigorúbb szint kevesebb téves győztest jelent, de több látogatót igényel.
Egyoldali vagy kétoldali tesztet használjak?
Kétoldalit használjon, hacsak nem döntötte el előre, hogy csak az érdekli, jobb-e B, és egy rosszabb B-t ugyanúgy kezelne, mint a különbség hiányát. Az egyoldali teszt hamarabb ér el szignifikanciát, de nem tudja megmondani, hogy B rosszabb.
Az eredményem nem szignifikáns. Most mi legyen?
Ez azt jelenti, hogy a teszt nem mutatott ki különbséget, nem azt, hogy nincs. Nézze meg a teszt előtti segédletet: ha sokkal kevesebb látogatója van a szükségesnél, futtassa tovább a tesztet. Ha elérte a tervezett mintaméretet, tekintse egyenértékűnek a változatokat, és teszteljen egy nagyobb változtatást.
Miért figyelmeztet a kalkulátor a kis mintákra?
A z-próba olyan közelítésen alapul, amely csak akkor működik, ha mindkét változatnál elegendő konverzió és nem konverzió van, nagyjából mindkettőből legalább 5. Kevesebb adatnál a p-érték félrevezető lehet, ezért döntés előtt gyűjtsön több adatot.
Hagyja, hogy a következő sorsolás lezajljon magától
Bonyolítsa le a nyereményjátékot a saját oldalán, gyűjtsön e-mail-címeket és hozzájárulásokat, és sorsoltassa ki a nyerteseket automatikusan. Próbálja ki ingyen 14 napig, hitelkártya nem szükséges.