Cosa significa significatività statistica in un test A/B
In un test A/B mostri due versioni di qualcosa a due gruppi di persone scelti a caso e confronti quante convertono. La variante B non ottiene quasi mai esattamente lo stesso tasso della variante A, anche quando la modifica non fa alcuna differenza. La domanda è se lo scarto è più grande di quello che ti aspetteresti dal solo caso.
Il p-value risponde a questa domanda. È la probabilità di vedere una differenza almeno così grande se le due varianti avessero in realtà lo stesso rendimento. Un p-value di 0,036 significa che uno scarto come il tuo comparirebbe per caso in circa il 3,6% dei test senza una differenza reale. Se il p-value è sotto la tua soglia (0,05 per un livello di confidenza del 95%), il risultato si dice statisticamente significativo.
Come funziona il calcolatore
Il calcolatore usa un test z per due proporzioni. Unisce le conversioni delle due varianti per stimare il tasso atteso se non ci fosse differenza, ne ricava l’errore standard e divide per questo la differenza tra i due tassi. Il risultato è il punteggio z: quanti errori standard separano i due tassi. Il p-value si ricava dalla distribuzione normale.
Un esempio: la variante A ottiene 100 conversioni su 1.000 visitatori (10%) e la variante B 130 su 1.000 (13%). È un uplift relativo del 30%, con un punteggio z di circa 2,10 e un p-value a due code di circa 0,036. B è significativamente migliore al 95%, ma non al 99%.
L’intervallo di confidenza mostra l’intervallo in cui probabilmente si trova la differenza reale. Nell’esempio va da circa +0,2 a +5,8 punti percentuali. Un intervallo ampio ti dice che il test non è ancora preciso, anche se è significativo.
Stai facendo un sondaggio invece di un test? Il calcolo della dimensione del campione per sondaggi ti dice quante risposte ti servono.
Pianifica prima la dimensione del campione
La maggior parte dei test falliti è troppo piccola. Prima di iniziare, decidi la variazione più piccola per cui vale la pena agire e usa l’aiuto pre-test per vedere quanti visitatori servono per variante con una potenza dell’80%. La potenza è la probabilità che il test rilevi un effetto di quella grandezza se esiste davvero. Poi lascia andare il test fino a raggiungere quel numero, e per settimane intere, così includi sia i giorni feriali sia i weekend.
Altre regole utili:
- Testa una modifica alla volta, come il premio, il formato di gioco o il numero di campi del modulo, così sai cosa ha fatto la differenza.
- Scegli la metrica prima del test. Tasso di iscrizione, tasso di completamento e tasso di opt-in possono muoversi in direzioni diverse.
- Non sbirciare per poi fermarti. Fermarsi appena il p-value scende sotto 0,05 rende i falsi vincitori molto più frequenti.
La nostra guida ai test A/B per campagne gamificate mostra cosa vale la pena testare in una campagna, e l’elenco dei KPI del marketing gamificato ti aiuta a scegliere la metrica. In Scratcher trovi i numeri di ogni campagna nelle statistiche. Per vedere quanto vale in euro un tasso di conversione migliore, usa il calcolatore del ROI delle campagne.
La significatività statistica ti dice se una differenza è probabilmente reale, non se è abbastanza grande da contare. Guarda anche l’uplift e l’intervallo di confidenza.
