Vad statistisk signifikans betyder i ett A/B-test
I ett A/B-test visar du två versioner av något för två slumpmässiga grupper och jämför hur många som konverterar. Variant B får nästan aldrig exakt samma andel som variant A, inte ens när ändringen inte gör någon skillnad alls. Frågan är om skillnaden är större än vad slumpen ensam skulle ge.
Det svarar p-värdet på. Det är sannolikheten att se en skillnad som är minst så stor om de två varianterna i själva verket presterade lika. Ett p-värde på 0,036 betyder att en skillnad som din skulle uppstå av en slump i ungefär 3,6 % av de test där det inte finns någon verklig skillnad. Om p-värdet ligger under din gräns (0,05 vid en konfidensnivå på 95 %) kallas resultatet statistiskt signifikant.
Så fungerar kalkylatorn
Kalkylatorn använder ett z-test för två andelar. Den slår ihop konverteringarna från båda varianterna för att uppskatta den andel man skulle vänta sig om det inte fanns någon skillnad, räknar ut standardfelet utifrån den och delar skillnaden mellan de två andelarna med det. Resultatet är z-värdet: hur många standardfel de två andelarna ligger ifrån varandra. P-värdet kommer från normalfördelningen.
Ett exempel: variant A får 100 konverteringar av 1 000 besökare (10 %) och variant B får 130 av 1 000 (13 %). Det är en relativ uplift på 30 %, ett z-värde på cirka 2,10 och ett tvåsidigt p-värde på cirka 0,036. B är signifikant bättre vid 95 %, men inte vid 99 %.
Konfidensintervallet visar inom vilket spann den sanna skillnaden troligen ligger. I exemplet går det från cirka +0,2 till +5,8 procentenheter. Ett brett intervall säger att testet ännu inte är precist, även om det är signifikant.
Gör du en enkät i stället för ett test? Kalkylatorn för urvalsstorlek visar hur många svar du behöver.
Planera urvalsstorleken först
De flesta misslyckade test är för små. Bestäm innan du startar vilken som är den minsta förändring som är värd att agera på, och använd hjälpen för att se hur många besökare varje variant behöver vid 80 % styrka. Styrkan är chansen att testet upptäcker en effekt av den storleken om den verkligen finns. Låt sedan testet pågå tills du når det antalet, och kör det i hela veckor så att både vardagar och helger kommer med.
Några andra regler hjälper:
- Testa en ändring i taget, till exempel priset, spelformatet eller antalet fält i formuläret, så att du vet vad som gjorde skillnaden.
- Välj mätvärde före testet. Registreringsgrad, slutförandegrad och samtyckesgrad kan röra sig åt olika håll.
- Kika inte och avbryt. Om du avbryter så fort p-värdet går under 0,05 blir falska vinnare mycket vanligare.
Vår guide till A/B-test av spelifierade kampanjer visar vad som är värt att testa i en kampanj, och listan över KPI:er för gamification i marknadsföring hjälper dig att välja mätvärde. I Scratcher hittar du siffrorna för varje kampanj under statistik. Vill du se vad en bättre konverteringsgrad är värd i pengar kan du använda ROI-kalkylatorn för kampanjer.
Statistisk signifikans säger om en skillnad sannolikt är verklig, inte om den är stor nog att spela roll. Titta även på uplift och konfidensintervall.
