Hvad statistisk signifikans betyder i en A/B-test
I en A/B-test viser du to versioner af noget til to tilfældige grupper og sammenligner, hvor mange der konverterer. Variant B får næsten aldrig præcis samme rate som variant A, heller ikke når ændringen ingen forskel gør. Spørgsmålet er, om forskellen er større, end man ville forvente af ren tilfældighed.
Det svarer p-værdien på. Den er sandsynligheden for at se en forskel, der er mindst så stor, hvis de to varianter i virkeligheden klarede sig lige godt. En p-værdi på 0,036 betyder, at en forskel som din ville opstå tilfældigt i omkring 3,6 % af de test, hvor der ingen reel forskel er. Er p-værdien under din grænse (0,05 ved et konfidensniveau på 95 %), kaldes resultatet statistisk signifikant.
Sådan virker beregneren
Beregneren bruger en z-test for to andele. Den lægger konverteringerne fra begge varianter sammen for at anslå den rate, man ville forvente, hvis der ingen forskel var, beregner standardfejlen ud fra den og dividerer forskellen mellem de to rater med den. Resultatet er z-scoren: hvor mange standardfejl de to rater ligger fra hinanden. P-værdien kommer fra normalfordelingen.
Et eksempel: variant A får 100 konverteringer ud af 1.000 besøgende (10 %), og variant B får 130 ud af 1.000 (13 %). Det er en relativ uplift på 30 %, en z-score på ca. 2,10 og en tosidet p-værdi på ca. 0,036. B er signifikant bedre ved 95 %, men ikke ved 99 %.
Konfidensintervallet viser det spænd, hvor den sande forskel sandsynligvis ligger. I eksemplet går det fra ca. +0,2 til +5,8 procentpoint. Et bredt interval fortæller dig, at testen endnu ikke er præcis, selv hvis den er signifikant.
Laver du en spørgeundersøgelse i stedet for en test? Stikprøvestørrelse beregneren fortæller dig, hvor mange svar du skal bruge.
Planlæg stikprøvestørrelsen først
De fleste mislykkede test er for små. Beslut, før du starter, hvad den mindste ændring er, som er værd at handle på, og brug hjælperen til at se, hvor mange besøgende hver variant skal have ved 80 % styrke. Styrken er chancen for, at testen opdager en effekt af den størrelse, hvis den faktisk findes. Lad så testen køre, til du når det tal, og kør den i hele uger, så både hverdage og weekender kommer med.
Et par andre regler hjælper:
- Test én ændring ad gangen, fx præmien, spilformatet eller antallet af felter i formularen, så du ved, hvad der gjorde forskellen.
- Vælg målet før testen. Tilmeldingsrate, gennemførselsrate og samtykkerate kan bevæge sig i hver sin retning.
- Kig ikke og stop. Stopper du, så snart p-værdien kommer under 0,05, bliver falske vindere langt mere almindelige.
Vores guide til A/B-test af gamificerede kampagner viser, hvad der er værd at teste i en kampagne, og listen over KPI'er til gamification-markedsføring hjælper dig med at vælge målet. I Scratcher finder du tallene for hver kampagne under statistik. Vil du se, hvad en bedre konverteringsrate er værd i kroner og øre, så brug ROI-beregneren til kampagner.
Statistisk signifikans fortæller dig, om en forskel sandsynligvis er reel, ikke om den er stor nok til at betyde noget. Se også på uplift og konfidensinterval.
