Hva statistisk signifikans betyr i en A/B-test
I en A/B-test viser du to versjoner av noe til to tilfeldige grupper og sammenligner hvor mange som konverterer. Variant B får nesten aldri nøyaktig samme rate som variant A, heller ikke når endringen ikke utgjør noen forskjell. Spørsmålet er om forskjellen er større enn det tilfeldigheter alene ville gitt.
Det svarer p-verdien på. Den er sannsynligheten for å se en forskjell som er minst like stor hvis de to variantene egentlig gjorde det like bra. En p-verdi på 0,036 betyr at en forskjell som din ville oppstått tilfeldig i omtrent 3,6 % av testene der det ikke finnes noen reell forskjell. Er p-verdien under grensen din (0,05 ved et konfidensnivå på 95 %), kalles resultatet statistisk signifikant.
Slik fungerer kalkulatoren
Kalkulatoren bruker en z-test for to andeler. Den slår sammen konverteringene fra begge variantene for å anslå raten man ville forventet hvis det ikke var noen forskjell, regner ut standardfeilen fra den og deler forskjellen mellom de to ratene på den. Resultatet er z-verdien: hvor mange standardfeil de to ratene ligger fra hverandre. P-verdien kommer fra normalfordelingen.
Et eksempel: variant A får 100 konverteringer av 1 000 besøkende (10 %), og variant B får 130 av 1 000 (13 %). Det er en relativ uplift på 30 %, en z-verdi på omtrent 2,10 og en tosidig p-verdi på omtrent 0,036. B er signifikant bedre ved 95 %, men ikke ved 99 %.
Konfidensintervallet viser området der den sanne forskjellen sannsynligvis ligger. I eksempelet går det fra omtrent +0,2 til +5,8 prosentpoeng. Et bredt intervall forteller at testen ikke er presis ennå, selv om den er signifikant.
Lager du en spørreundersøkelse i stedet for en test? Kalkulatoren for utvalgsstørrelse viser hvor mange svar du trenger.
Planlegg utvalgsstørrelsen først
De fleste mislykkede tester er for små. Bestem før du starter hva som er den minste endringen som er verdt å handle på, og bruk hjelperen til å se hvor mange besøkende hver variant trenger ved 80 % styrke. Styrken er sjansen for at testen oppdager en effekt av den størrelsen hvis den faktisk finnes. La så testen gå til du når det tallet, og kjør den i hele uker så både hverdager og helger kommer med.
Noen andre regler hjelper:
- Test én endring om gangen, for eksempel premien, spillformatet eller antall felt i skjemaet, så du vet hva som utgjorde forskjellen.
- Velg måltall før testen. Påmeldingsrate, fullføringsrate og samtykkerate kan bevege seg i hver sin retning.
- Ikke kikk og stopp. Stopper du så snart p-verdien går under 0,05, blir falske vinnere mye vanligere.
Guiden vår om A/B-testing av spillbaserte kampanjer viser hva som er verdt å teste i en kampanje, og listen over KPI-er for gamification i markedsføring hjelper deg å velge måltall. I Scratcher finner du tallene for hver kampanje under statistikk. Vil du se hva en bedre konverteringsrate er verdt i kroner, kan du bruke ROI-kalkulatoren for kampanjer.
Statistisk signifikans forteller om en forskjell sannsynligvis er reell, ikke om den er stor nok til å bety noe. Se også på uplift og konfidensintervall.
