Wat statistische significantie betekent in een A/B-test
In een A/B-test laat je twee versies van iets zien aan twee willekeurige groepen mensen en vergelijk je hoeveel er converteren. Variant B haalt bijna nooit precies dezelfde ratio als variant A, ook niet als de wijziging helemaal niets uitmaakt. De vraag is of het verschil groter is dan je door toeval alleen zou verwachten.
De p-waarde geeft daar antwoord op. Het is de kans om een verschil van minstens deze grootte te zien als de twee varianten in werkelijkheid even goed presteren. Een p-waarde van 0,036 betekent dat een verschil als het jouwe in ongeveer 3,6% van de tests zonder echt verschil door toeval zou ontstaan. Ligt de p-waarde onder je drempel (0,05 bij een betrouwbaarheidsniveau van 95%), dan heet het resultaat statistisch significant.
Hoe de calculator werkt
De calculator gebruikt een z-toets voor twee proporties. Hij voegt de conversies van beide varianten samen om de ratio te schatten die je zonder verschil zou verwachten, berekent daaruit de standaardfout en deelt het verschil tussen de twee ratio's daardoor. Het resultaat is de z-score: hoeveel standaardfouten de twee ratio's uit elkaar liggen. De p-waarde komt uit de normale verdeling.
Een voorbeeld: variant A haalt 100 conversies uit 1.000 bezoekers (10%) en variant B 130 uit 1.000 (13%). Dat is een relatieve uplift van 30%, een z-score van ongeveer 2,10 en een tweezijdige p-waarde van ongeveer 0,036. B is significant beter bij 95%, maar niet bij 99%.
Het betrouwbaarheidsinterval laat zien binnen welk bereik het echte verschil waarschijnlijk ligt. In het voorbeeld loopt het van ongeveer +0,2 tot +5,8 procentpunt. Een breed interval vertelt je dat de test nog niet nauwkeurig is, ook als hij significant is.
Doe je een enquête in plaats van een test? Met onze tool kun je de steekproefgrootte berekenen voor je enquête en zie je hoeveel antwoorden je nodig hebt.
Plan eerst de steekproefgrootte
De meeste mislukte tests zijn te klein. Bepaal voor de start welke verandering minimaal nodig is om er iets mee te doen, en kijk met de testplanner hoeveel bezoekers elke variant nodig heeft bij 80% power. Power is de kans dat de test een effect van die grootte vindt als het er echt is. Laat de test daarna lopen tot je dat aantal haalt, en laat hem hele weken lopen zodat zowel werkdagen als weekenden meetellen.
Nog een paar regels die helpen:
- Test één wijziging tegelijk, zoals de prijs, het spelformat of het aantal formuliervelden, zodat je weet wat het verschil maakte.
- Kies de metric voor de test. Aanmeldratio, voltooiingsratio en opt-in-ratio kunnen verschillende kanten op bewegen.
- Niet gluren en stoppen. Stoppen zodra de p-waarde onder 0,05 zakt, geeft veel vaker valse winnaars.
Onze gids over A/B-testen van gamified campagnes laat zien wat het testen waard is in een campagne, en de lijst met KPI's voor gamification-marketing helpt je de metric te kiezen. In Scratcher staan de cijfers van elke campagne in analytics. Wil je weten wat een betere conversieratio in geld waard is, gebruik dan de ROI-calculator voor campagnes.
Statistische significantie vertelt je of een verschil waarschijnlijk echt is, niet of het groot genoeg is om ertoe te doen. Kijk ook naar de uplift en het betrouwbaarheidsinterval.
