Strumento gratuito
Calcolatore test A/B
Verifica se la differenza tra due varianti è statisticamente significativa e calcola quanti visitatori servono per un test. Gratis, senza registrazione e con tutte le formule in vista.
Cosa significa significatività statistica in un test A/B
In un test A/B mostri due versioni di qualcosa a due gruppi di persone scelti a caso e confronti quante convertono. La variante B non ottiene quasi mai esattamente lo stesso tasso della variante A, anche quando la modifica non fa alcuna differenza. La domanda è se lo scarto è più grande di quello che ti aspetteresti dal solo caso.
Il p-value risponde a questa domanda. È la probabilità di vedere una differenza almeno così grande se le due varianti avessero in realtà lo stesso rendimento. Un p-value di 0,036 significa che uno scarto come il tuo comparirebbe per caso in circa il 3,6% dei test senza una differenza reale. Se il p-value è sotto la tua soglia (0,05 per un livello di confidenza del 95%), il risultato si dice statisticamente significativo.
Come funziona il calcolatore
Il calcolatore usa un test z per due proporzioni. Unisce le conversioni delle due varianti per stimare il tasso atteso se non ci fosse differenza, ne ricava l’errore standard e divide per questo la differenza tra i due tassi. Il risultato è il punteggio z: quanti errori standard separano i due tassi. Il p-value si ricava dalla distribuzione normale.
Un esempio: la variante A ottiene 100 conversioni su 1.000 visitatori (10%) e la variante B 130 su 1.000 (13%). È un uplift relativo del 30%, con un punteggio z di circa 2,10 e un p-value a due code di circa 0,036. B è significativamente migliore al 95%, ma non al 99%.
L’intervallo di confidenza mostra l’intervallo in cui probabilmente si trova la differenza reale. Nell’esempio va da circa +0,2 a +5,8 punti percentuali. Un intervallo ampio ti dice che il test non è ancora preciso, anche se è significativo.
Stai facendo un sondaggio invece di un test? Il calcolo della dimensione del campione per sondaggi ti dice quante risposte ti servono.
Pianifica prima la dimensione del campione
La maggior parte dei test falliti è troppo piccola. Prima di iniziare, decidi la variazione più piccola per cui vale la pena agire e usa l’aiuto pre-test per vedere quanti visitatori servono per variante con una potenza dell’80%. La potenza è la probabilità che il test rilevi un effetto di quella grandezza se esiste davvero. Poi lascia andare il test fino a raggiungere quel numero, e per settimane intere, così includi sia i giorni feriali sia i weekend.
Altre regole utili:
- Testa una modifica alla volta, come il premio, il formato di gioco o il numero di campi del modulo, così sai cosa ha fatto la differenza.
- Scegli la metrica prima del test. Tasso di iscrizione, tasso di completamento e tasso di opt-in possono muoversi in direzioni diverse.
- Non sbirciare per poi fermarti. Fermarsi appena il p-value scende sotto 0,05 rende i falsi vincitori molto più frequenti.
La nostra guida ai test A/B per campagne gamificate mostra cosa vale la pena testare in una campagna, e l’elenco dei KPI del marketing gamificato ti aiuta a scegliere la metrica. In Scratcher trovi i numeri di ogni campagna nelle statistiche. Per vedere quanto vale in euro un tasso di conversione migliore, usa il calcolatore del ROI delle campagne.
La significatività statistica ti dice se una differenza è probabilmente reale, non se è abbastanza grande da contare. Guarda anche l’uplift e l’intervallo di confidenza.
Il calcolatore di test A/B è gratuito?
Sì. Puoi usarlo tutte le volte che vuoi e non ti serve un account. Nulla di ciò che scrivi viene inviato a noi.
Quale p-value è considerato significativo?
Dipende dal livello di confidenza che scegli prima del test. Al 95%, un p-value sotto 0,05 è significativo. Al 90% la soglia è 0,10 e al 99% è 0,01. Un livello più severo dà meno falsi vincitori ma richiede più visitatori.
Meglio un test a una coda o a due code?
Usa il test a due code, a meno che tu non abbia deciso in anticipo che ti interessa solo sapere se B è migliore e che un B peggiore per te equivale a nessuna differenza. Un test a una coda diventa significativo prima, ma non può dirti che B è peggiore.
Il mio risultato non è significativo. E adesso?
Significa che il test non ha mostrato una differenza, non che non ce ne sia nessuna. Controlla l’aiuto pre-test: se hai molti meno visitatori del necessario, lascia andare avanti il test. Se hai raggiunto la dimensione prevista, considera le varianti equivalenti e testa una modifica più grande.
Perché il calcolatore avvisa quando il campione è piccolo?
Il test z si basa su un’approssimazione che funziona solo quando ogni variante ha abbastanza conversioni e non conversioni, circa 5 o più per ciascuna. Con meno dati il p-value può essere fuorviante, quindi raccogline di più prima di decidere.
Lascia che la prossima estrazione vada da sola
Organizza il concorso sulla tua pagina, raccogli email e consensi e lascia a noi l’estrazione dei vincitori. Prova gratis per 14 giorni, senza carta di credito.