Ugrás a tartalomhoz
Rex, az Ön MI-asszisztense: a robotmunkát elvégzi, az ötletek az Önéi 👉 Ismerje meg Rexet

Ingyenes eszköz

A/B-teszt kalkulátor

Ellenőrizze, hogy két változat közötti különbség statisztikailag szignifikáns-e, és számolja ki, hány látogatóra van szüksége egy tesztnek. Ingyenes, regisztráció nélkül, és minden képletet megmutatunk.

A változat (kontroll)
B változat
Tesztbeállítások
A teszt típusa

A kétoldali teszt azt vizsgálja, hogy B bármelyik irányban eltér-e A-tól. Az egyoldali teszt csak azt, hogy B jobb-e. A teszt indulása előtt döntsön, ne azután, hogy már látta a számokat.

Eredmény

A konverziós aránya
–
B konverziós aránya
–
Relatív növekedés (B az A-hoz képest)
–
Z-érték
–
P-érték
–
–

Hány látogatóra van szüksége a tesztjének?

Tervezze meg a tesztet, mielőtt elindul. Adja meg jelenlegi konverziós arányát és azt a legkisebb változást, amely alapján lépne.

Relatív változás: a 20 azt jelenti, hogy 10%-ról 12%-ra történő elmozdulást szeretne kimutatni. Minél kisebb a hatás, annál több látogatóra van szükség.

Szükséges látogatók változatonként

–

Hogyan történik a számítás

  • Konverziós arány: pA = conversions A ÷ visitors A, és ugyanígy B-re
  • Relatív növekedés: (pB − pA) ÷ pA
  • Összevont arány: p = (conversions A + conversions B) ÷ (visitors A + visitors B)
  • Összevont standard hiba: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), ahol n a látogatók száma
  • Z-érték: z = (pB − pA) ÷ SE
  • P-érték: kétoldali 2 × (1 − Φ(|z|)), egyoldali 1 − Φ(z), ahol Φ a standard normális eloszlás. Az eredmény akkor szignifikáns, ha a p-érték kisebb, mint 1 − a konfidenciaszint, pl. 95%-nál 0,05.
  • Konfidenciaintervallum a különbségre: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), ahol z* = 1,645; 1,960 vagy 2,576 a 90%, 95% vagy 99% esetén. Ez az intervallum a nem összevont standard hibát használja.
  • Látogatók változatonként: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², ahol p1 a jelenlegi arány, p2 = p1 × (1 + effect), p̄ = (p1 + p2) ÷ 2, zα = 1,645; 1,960 vagy 2,576, és zβ = 0,842 80%-os erőnél vagy 1,282 90%-osnál. Az eredményt felfelé kerekítjük.

A kalkulátor a böngészőjében fut, és semmi, amit beír, nem kerül hozzánk. Kétmintás arányteszten alapuló z-próbát használ, amely a két konverziós arány összehasonlításának standard módszere, ha mindkét változatnál ésszerű számú konverzió van. A mintaméretet a teszt indulása előtt határozza meg, és ne álljon le abban a pillanatban, amikor az eredmény szignifikánssá válik: az ismételt ellenőrzés növeli a téves pozitív eredmények valószínűségét.

Mit jelent a statisztikai szignifikancia egy A/B-tesztben?

Egy A/B-tesztben valaminek két változatát mutatja meg két véletlenszerűen kiválasztott csoportnak, és összehasonlítja, hányan konvertálnak. A B változat szinte soha nem ér el pontosan ugyanolyan arányt, mint az A, még akkor sem, ha a változtatásnak egyáltalán nincs hatása. A kérdés az, hogy a különbség nagyobb-e annál, amit pusztán a véletlentől várna.

Erre a p-érték ad választ. Ez annak a valószínűsége, hogy legalább ekkora különbséget lát, ha a két változat valójában ugyanúgy teljesített. A 0,036-os p-érték azt jelenti, hogy az Önéhez hasonló különbség a valódi különbség nélküli tesztek körülbelül 3,6%-ában a véletlen folytán is előfordulna. Ha a p-érték a küszöbérték alatt van (95%-os konfidenciaszintnél 0,05), az eredményt statisztikailag szignifikánsnak nevezzük.

Hogyan működik a kalkulátor?

A kalkulátor kétmintás arányteszten alapuló z-próbát használ. Összevonja mindkét változat konverzióit, hogy megbecsülje azt az arányt, amelyet különbség hiányában várna, ebből kiszámítja a standard hibát, és ezzel elosztja a két arány közötti különbséget. Az eredmény a z-érték: hány standard hibányira van egymástól a két arány. A p-érték a normális eloszlásból adódik.

Egy példa: az A változat 1000 látogatóból 100 konverziót ér el (10%), a B változat 1000-ből 130-at (13%). Ez 30%-os relatív növekedés, körülbelül 2,10-es z-érték és körülbelül 0,036-os kétoldali p-érték. B 95%-on szignifikánsan jobb, de 99%-on nem.

A konfidenciaintervallum azt a tartományt mutatja, amelyben a valódi különbség valószínűleg található. A példában ez körülbelül +0,2 és +5,8 százalékpont között van. Egy széles intervallum azt jelzi, hogy a teszt még nem pontos, még ha szignifikáns is.

Teszt helyett kérdőívet futtat? A kérdőív-mintaméret kalkulátor megmondja, hány válaszra van szüksége.

Először tervezze meg a mintaméretet

A legtöbb sikertelen teszt túl kicsi. Indulás előtt döntse el, mekkora az a legkisebb változás, amely alapján érdemes lépni, és a teszt előtti segédlettel nézze meg, hány látogatóra van szüksége változatonként 80%-os statisztikai erő mellett. A statisztikai erő annak az esélye, hogy a teszt kimutat egy ekkora hatást, ha az valóban létezik. Ezután futtassa a tesztet, amíg el nem éri ezt a számot, és teljes heteken át futtassa, hogy a hétköznapok és a hétvégék is benne legyenek.

Néhány további szabály is segít:

  1. Egyszerre egy változtatást teszteljen, például a nyereményt, a játékformátumot vagy az űrlapmezők számát, hogy tudja, mi okozta a különbséget.
  2. A mutatót a teszt előtt válassza ki. A regisztrációs arány, a befejezési arány és a feliratkozási arány különböző irányba mozdulhat.
  3. Ne kukucskáljon, és ne álljon le idő előtt. Ha leállítja a tesztet, amint a p-érték 0,05 alá csökken, sokkal gyakoribbak lesznek a téves győztesek.

A játékos kampányok A/B-teszteléséről szóló útmutatónk megmutatja, mit érdemes tesztelni egy kampányban, a gamifikációs marketing-KPI-ok listája pedig segít kiválasztani a mutatót. A Scratcherben az egyes kampányok számai az analitikában találhatók. Ha szeretné látni, mennyit ér pénzben egy jobb konverziós arány, használja a kampány-ROI-kalkulátort.

A statisztikai szignifikancia azt mutatja meg, hogy egy különbség valószínűleg valós-e, nem azt, hogy elég nagy-e ahhoz, hogy számítson. Nézze meg a növekedést és a konfidenciaintervallumot is.

Kérdések

Kérdések az A/B-tesztek szignifikanciájáról

Megbeszélés foglalása
Ingyenes az A/B-teszt-kalkulátor?

Igen. Olyan gyakran használhatja ingyenesen, amilyen gyakran csak szeretné, és fiókra sincs szükség. Semmilyen beírt adatot nem küldünk el nekünk.

Milyen p-érték számít szignifikánsnak?

Ez a teszt előtt választott konfidenciaszinttől függ. 95%-nál a 0,05 alatti p-érték szignifikáns. 90%-nál a küszöb 0,10, 99%-nál pedig 0,01. A szigorúbb szint kevesebb téves győztest jelent, de több látogatót igényel.

Egyoldali vagy kétoldali tesztet használjak?

Kétoldalit használjon, hacsak nem döntötte el előre, hogy csak az érdekli, jobb-e B, és egy rosszabb B-t ugyanúgy kezelne, mint a különbség hiányát. Az egyoldali teszt hamarabb ér el szignifikanciát, de nem tudja megmondani, hogy B rosszabb.

Az eredményem nem szignifikáns. Most mi legyen?

Ez azt jelenti, hogy a teszt nem mutatott ki különbséget, nem azt, hogy nincs. Nézze meg a teszt előtti segédletet: ha sokkal kevesebb látogatója van a szükségesnél, futtassa tovább a tesztet. Ha elérte a tervezett mintaméretet, tekintse egyenértékűnek a változatokat, és teszteljen egy nagyobb változtatást.

Miért figyelmeztet a kalkulátor a kis mintákra?

A z-próba olyan közelítésen alapul, amely csak akkor működik, ha mindkét változatnál elegendő konverzió és nem konverzió van, nagyjából mindkettőből legalább 5. Kevesebb adatnál a p-érték félrevezető lehet, ezért döntés előtt gyűjtsön több adatot.

Hagyja, hogy a következő sorsolás lezajljon magától

Bonyolítsa le a nyereményjátékot a saját oldalán, gyűjtsön e-mail-címeket és hozzájárulásokat, és sorsoltassa ki a nyerteseket automatikusan. Próbálja ki ingyen 14 napig, hitelkártya nem szükséges.