Ilmainen työkalu
A/B-testilaskuri
Tarkista, onko kahden version ero tilastollisesti merkitsevä, ja laske, kuinka monta kävijää testi tarvitsee. Ilmainen, ei rekisteröitymistä, ja kaikki kaavat näytetään.
Mitä tilastollinen merkitsevyys tarkoittaa A/B-testissä
A/B-testissä näytät jostakin kaksi versiota kahdelle satunnaiselle ryhmälle ja vertaat, kuinka moni konvertoi. Versio B ei lähes koskaan saa täsmälleen samaa astetta kuin versio A, vaikka muutoksella ei olisi mitään vaikutusta. Kysymys on, onko ero suurempi kuin pelkän sattuman perusteella voisi odottaa.
P-arvo vastaa tähän. Se on todennäköisyys nähdä vähintään yhtä suuri ero, jos versiot todellisuudessa toimisivat yhtä hyvin. P-arvo 0,036 tarkoittaa, että sinun kaltaisesi ero syntyisi sattumalta noin 3,6 %:ssa testeistä, joissa todellista eroa ei ole. Jos p-arvo on kynnystäsi pienempi (0,05 luottamustasolla 95 %), tulosta kutsutaan tilastollisesti merkitseväksi.
Näin laskuri toimii
Laskuri käyttää kahden osuuden z-testiä. Se yhdistää molempien versioiden konversiot arvioidakseen asteen, jota odottaisit, jos eroa ei olisi, laskee siitä keskivirheen ja jakaa asteiden erotuksen sillä. Tulos on z-arvo: kuinka monen keskivirheen päässä asteet ovat toisistaan. P-arvo saadaan normaalijakaumasta.
Esimerkki: versio A saa 100 konversiota 1 000 kävijästä (10 %) ja versio B 130 konversiota 1 000 kävijästä (13 %). Suhteellinen nousu on 30 %, z-arvo noin 2,10 ja kaksisuuntainen p-arvo noin 0,036. B on merkitsevästi parempi tasolla 95 %, mutta ei tasolla 99 %.
Luottamusväli näyttää alueen, jolla todellinen ero todennäköisesti on. Esimerkissä se ulottuu noin +0,2:sta +5,8 prosenttiyksikköön. Leveä väli kertoo, että testi ei ole vielä tarkka, vaikka se olisi merkitsevä.
Teetkö kyselyn testin sijaan? Otoskoon laskuri kyselyille kertoo, kuinka monta vastausta tarvitset.
Suunnittele otoskoko ensin
Useimmat epäonnistuneet testit ovat liian pieniä. Päätä ennen aloitusta pienin muutos, jonka perusteella toimisit, ja katso testin suunnittelijasta, kuinka monta kävijää kukin versio tarvitsee 80 %:n voimalla. Voima on todennäköisyys, että testi havaitsee tämän kokoisen vaikutuksen, jos se on todellinen. Anna testin sitten pyöriä, kunnes saavutat tuon määrän, ja kokonaisia viikkoja, jotta mukana on sekä arkipäiviä että viikonloppuja.
Muutama muu sääntö auttaa:
- Testaa yksi muutos kerrallaan, kuten palkinto, pelimuoto tai lomakekenttien määrä, jotta tiedät, mikä teki eron.
- Valitse mittari ennen testiä. Rekisteröitymisaste, läpäisyaste ja suostumusaste voivat liikkua eri suuntiin.
- Älä kurki ja lopeta. Jos lopetat heti, kun p-arvo painuu alle 0,05:n, saat paljon useammin vääriä voittajia.
Oppaamme pelillistettyjen kampanjoiden A/B-testauksesta näyttää, mitä kampanjassa kannattaa testata, ja lista pelillistämisen markkinointimittareista auttaa valitsemaan mittarin. Scratcherissa jokaisen kampanjan luvut löytyvät analytiikasta. Jos haluat nähdä, mitä parempi konversioaste on rahassa, käytä kampanjan ROI-laskuria.
Tilastollinen merkitsevyys kertoo, onko ero todennäköisesti todellinen, ei sitä, onko se tarpeeksi suuri merkitäkseen jotain. Katso myös nousua ja luottamusväliä.
Onko A/B-testilaskuri ilmainen?
Kyllä. Voit käyttää sitä niin usein kuin haluat, etkä tarvitse tiliä. Mitään kirjoittamaasi ei lähetetä meille.
Mikä p-arvo on merkitsevä?
Se riippuu luottamustasosta, jonka valitset ennen testiä. Tasolla 95 % alle 0,05:n p-arvo on merkitsevä. Tasolla 90 % kynnys on 0,10 ja tasolla 99 % se on 0,01. Tiukempi taso tarkoittaa vähemmän vääriä voittajia, mutta vaatii enemmän kävijöitä.
Pitäisikö käyttää yksisuuntaista vai kaksisuuntaista testiä?
Käytä kaksisuuntaista, ellet ole etukäteen päättänyt, että sinua kiinnostaa vain, onko B parempi, ja että kohtelisit huonompaa B:tä samoin kuin eroa ei olisi. Yksisuuntainen testi muuttuu merkitseväksi nopeammin, mutta se ei voi kertoa, että B on huonompi.
Tulokseni ei ole merkitsevä. Mitä nyt?
Se tarkoittaa, että testi ei ole osoittanut eroa, ei sitä, ettei eroa olisi. Katso testin suunnittelija: jos kävijöitä on paljon vähemmän kuin tarvitaan, jatka testiä. Jos olet saavuttanut suunnitellun otoskoon, pidä versioita yhtä hyvinä ja testaa isompaa muutosta.
Miksi laskuri varoittaa pienistä otoksista?
Z-testi perustuu likiarvoon, joka toimii vain, kun jokaisella versiolla on tarpeeksi konversioita ja ei-konversioita, karkeasti vähintään 5 kumpaakin. Pienemmällä datalla p-arvo voi johtaa harhaan, joten kerää lisää ennen kuin päätät.
Anna seuraavan arvonnan hoitua itsestään
Järjestä kilpailu omalla sivullasi, kerää sähköpostit ja suostumukset ja anna voittajien arvonta meille. Kokeile ilmaiseksi 14 päivää, ei luottokorttia.