Siirry sisältöön

Rex, tekoälyavustajasi: rutiinityöt hoituvat, ideat ovat sinun 👉 Tutustu Rexiin

Ilmainen työkalu

A/B-testilaskuri

Tarkista, onko kahden version ero tilastollisesti merkitsevä, ja laske, kuinka monta kävijää testi tarvitsee. Ilmainen, ei rekisteröitymistä, ja kaikki kaavat näytetään.

Versio A (vertailu)
Versio B
Testin asetukset
Testin tyyppi

Kaksisuuntainen testi tarkistaa, eroaako B A:sta kumpaan tahansa suuntaan. Yksisuuntainen testi tarkistaa vain, onko B parempi. Valitse ennen testin alkua, älä vasta kun olet nähnyt luvut.

Tulos

Konversioaste A
–
Konversioaste B
–
Suhteellinen nousu (B vs. A)
–
Z-arvo
–
P-arvo
–
–
Kuinka monta kävijää testisi tarvitsee?

Suunnittele testi ennen sen alkua. Syötä nykyinen konversioasteesi ja pienin muutos, jonka perusteella toimisit.

Suhteellinen muutos: 20 tarkoittaa, että haluat havaita nousun 10 %:sta 12 %:iin. Mitä pienempi vaikutus, sitä enemmän kävijöitä tarvitset.

Tarvittavat kävijät versiota kohden

–

Näin se lasketaan

  • Konversioaste: pA = konversiot A ÷ kävijät A, ja samoin B:lle
  • Suhteellinen nousu: (pB − pA) ÷ pA
  • Yhdistetty aste: p = (konversiot A + konversiot B) ÷ (kävijät A + kävijät B)
  • Yhdistetty keskivirhe: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), jossa n on kävijöiden määrä
  • Z-arvo: z = (pB − pA) ÷ SE
  • P-arvo: kaksisuuntainen 2 × (1 − Φ(|z|)), yksisuuntainen 1 − Φ(z), jossa Φ on standardinormaalijakauma. Tulos on merkitsevä, kun p-arvo on pienempi kuin 1 − luottamustaso, esimerkiksi 0,05 tasolla 95 %.
  • Erotuksen luottamusväli: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), jossa z* = 1,645, 1,960 tai 2,576 tasoille 90 %, 95 % tai 99 %. Tämä väli käyttää yhdistämätöntä keskivirhettä.
  • Kävijät versiota kohden: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², jossa p1 on nykyinen aste, p2 = p1 × (1 + vaikutus), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 tai 2,576 ja zβ = 0,842 voimalle 80 % tai 1,282 voimalle 90 %. Tulos pyöristetään ylöspäin.

Laskuri toimii selaimessasi, eikä mitään kirjoittamaasi lähetetä meille. Se käyttää kahden osuuden z-testiä, joka on vakiotesti kahden konversioasteen vertailuun, kun jokaisella versiolla on kohtuullinen määrä konversioita. Päätä otoskoko ennen testin alkua äläkä lopeta heti, kun tulos muuttuu merkitseväksi: jatkuva tarkistaminen lisää väärien positiivisten tulosten riskiä.

Mitä tilastollinen merkitsevyys tarkoittaa A/B-testissä

A/B-testissä näytät jostakin kaksi versiota kahdelle satunnaiselle ryhmälle ja vertaat, kuinka moni konvertoi. Versio B ei lähes koskaan saa täsmälleen samaa astetta kuin versio A, vaikka muutoksella ei olisi mitään vaikutusta. Kysymys on, onko ero suurempi kuin pelkän sattuman perusteella voisi odottaa.

P-arvo vastaa tähän. Se on todennäköisyys nähdä vähintään yhtä suuri ero, jos versiot todellisuudessa toimisivat yhtä hyvin. P-arvo 0,036 tarkoittaa, että sinun kaltaisesi ero syntyisi sattumalta noin 3,6 %:ssa testeistä, joissa todellista eroa ei ole. Jos p-arvo on kynnystäsi pienempi (0,05 luottamustasolla 95 %), tulosta kutsutaan tilastollisesti merkitseväksi.

Näin laskuri toimii

Laskuri käyttää kahden osuuden z-testiä. Se yhdistää molempien versioiden konversiot arvioidakseen asteen, jota odottaisit, jos eroa ei olisi, laskee siitä keskivirheen ja jakaa asteiden erotuksen sillä. Tulos on z-arvo: kuinka monen keskivirheen päässä asteet ovat toisistaan. P-arvo saadaan normaalijakaumasta.

Esimerkki: versio A saa 100 konversiota 1 000 kävijästä (10 %) ja versio B 130 konversiota 1 000 kävijästä (13 %). Suhteellinen nousu on 30 %, z-arvo noin 2,10 ja kaksisuuntainen p-arvo noin 0,036. B on merkitsevästi parempi tasolla 95 %, mutta ei tasolla 99 %.

Luottamusväli näyttää alueen, jolla todellinen ero todennäköisesti on. Esimerkissä se ulottuu noin +0,2:sta +5,8 prosenttiyksikköön. Leveä väli kertoo, että testi ei ole vielä tarkka, vaikka se olisi merkitsevä.

Teetkö kyselyn testin sijaan? Otoskoon laskuri kyselyille kertoo, kuinka monta vastausta tarvitset.

Suunnittele otoskoko ensin

Useimmat epäonnistuneet testit ovat liian pieniä. Päätä ennen aloitusta pienin muutos, jonka perusteella toimisit, ja katso testin suunnittelijasta, kuinka monta kävijää kukin versio tarvitsee 80 %:n voimalla. Voima on todennäköisyys, että testi havaitsee tämän kokoisen vaikutuksen, jos se on todellinen. Anna testin sitten pyöriä, kunnes saavutat tuon määrän, ja kokonaisia viikkoja, jotta mukana on sekä arkipäiviä että viikonloppuja.

Muutama muu sääntö auttaa:

  1. Testaa yksi muutos kerrallaan, kuten palkinto, pelimuoto tai lomakekenttien määrä, jotta tiedät, mikä teki eron.
  2. Valitse mittari ennen testiä. Rekisteröitymisaste, läpäisyaste ja suostumusaste voivat liikkua eri suuntiin.
  3. Älä kurki ja lopeta. Jos lopetat heti, kun p-arvo painuu alle 0,05:n, saat paljon useammin vääriä voittajia.

Oppaamme pelillistettyjen kampanjoiden A/B-testauksesta näyttää, mitä kampanjassa kannattaa testata, ja lista pelillistämisen markkinointimittareista auttaa valitsemaan mittarin. Scratcherissa jokaisen kampanjan luvut löytyvät analytiikasta. Jos haluat nähdä, mitä parempi konversioaste on rahassa, käytä kampanjan ROI-laskuria.

Tilastollinen merkitsevyys kertoo, onko ero todennäköisesti todellinen, ei sitä, onko se tarpeeksi suuri merkitäkseen jotain. Katso myös nousua ja luottamusväliä.

Kysymykset

Kysymyksiä A/B-testin merkitsevyydestä

Varaa tapaaminen

  • Kyllä. Voit käyttää sitä niin usein kuin haluat, etkä tarvitse tiliä. Mitään kirjoittamaasi ei lähetetä meille.

  • Se riippuu luottamustasosta, jonka valitset ennen testiä. Tasolla 95 % alle 0,05:n p-arvo on merkitsevä. Tasolla 90 % kynnys on 0,10 ja tasolla 99 % se on 0,01. Tiukempi taso tarkoittaa vähemmän vääriä voittajia, mutta vaatii enemmän kävijöitä.

  • Käytä kaksisuuntaista, ellet ole etukäteen päättänyt, että sinua kiinnostaa vain, onko B parempi, ja että kohtelisit huonompaa B:tä samoin kuin eroa ei olisi. Yksisuuntainen testi muuttuu merkitseväksi nopeammin, mutta se ei voi kertoa, että B on huonompi.

  • Se tarkoittaa, että testi ei ole osoittanut eroa, ei sitä, ettei eroa olisi. Katso testin suunnittelija: jos kävijöitä on paljon vähemmän kuin tarvitaan, jatka testiä. Jos olet saavuttanut suunnitellun otoskoon, pidä versioita yhtä hyvinä ja testaa isompaa muutosta.

  • Z-testi perustuu likiarvoon, joka toimii vain, kun jokaisella versiolla on tarpeeksi konversioita ja ei-konversioita, karkeasti vähintään 5 kumpaakin. Pienemmällä datalla p-arvo voi johtaa harhaan, joten kerää lisää ennen kuin päätät.