Qué significa la significancia estadística en un test A/B
En un test A/B muestras dos versiones de algo a dos grupos de personas elegidos al azar y comparas cuántas convierten. La variante B casi nunca obtiene exactamente la misma tasa que la variante A, aunque el cambio no tenga ningún efecto. La pregunta es si la diferencia es mayor de lo que cabría esperar solo por azar.
El p-valor responde a eso. Es la probabilidad de ver una diferencia al menos así de grande si las dos variantes rindieran en realidad igual. Un p-valor de 0,036 significa que una diferencia como la tuya aparecería por azar en un 3,6 % de los tests sin diferencia real. Si el p-valor está por debajo de tu umbral (0,05 para un nivel de confianza del 95 %), el resultado se considera estadísticamente significativo.
Cómo funciona la calculadora
La calculadora usa un test z de dos proporciones. Junta las conversiones de las dos variantes para estimar la tasa esperada si no hubiera diferencia, calcula a partir de ella el error estándar y divide por él la diferencia entre las dos tasas. El resultado es la puntuación z: cuántos errores estándar separan las dos tasas. El p-valor sale de la distribución normal.
Un ejemplo: la variante A consigue 100 conversiones de 1.000 visitantes (10 %) y la variante B 130 de 1.000 (13 %). Es un uplift relativo del 30 %, una puntuación z de unos 2,10 y un p-valor bilateral de unos 0,036. B es significativamente mejor al 95 %, pero no al 99 %.
El intervalo de confianza muestra el rango en el que probablemente está la diferencia real. En el ejemplo va de unos +0,2 a +5,8 puntos porcentuales. Un intervalo amplio te indica que el test aún no es preciso, aunque sea significativo.
¿Haces una encuesta en lugar de un test? La calculadora de tamaño de muestra para encuestas te dice cuántas respuestas necesitas.
Planifica primero el tamaño de muestra
La mayoría de los tests fallidos son demasiado pequeños. Antes de empezar, decide cuál es el cambio más pequeño por el que merece la pena actuar y usa la ayuda previa al test para ver cuántos visitantes necesita cada variante con una potencia del 80 %. La potencia es la probabilidad de que el test detecte un efecto de ese tamaño si de verdad existe. Después deja el test en marcha hasta llegar a ese número, y durante semanas completas para incluir días laborables y fines de semana.
Otras reglas que ayudan:
- Prueba un cambio cada vez, como el premio, el formato de juego o el número de campos del formulario, para saber qué marcó la diferencia.
- Elige la métrica antes del test. La tasa de registro, la de finalización y la de opt-in pueden moverse en direcciones distintas.
- No mires para parar en seguida. Parar en cuanto el p-valor baja de 0,05 hace mucho más frecuentes los falsos ganadores.
Nuestra guía sobre tests A/B en campañas gamificadas muestra qué merece la pena probar en una campaña, y la lista de KPI de marketing gamificado te ayuda a elegir la métrica. En Scratcher, los números de cada campaña están en las estadísticas. Para ver cuánto vale en euros una mejor tasa de conversión, usa la calculadora de ROI de campañas.
La significancia estadística te dice si una diferencia probablemente es real, no si es lo bastante grande para importar. Fíjate también en el uplift y en el intervalo de confianza.
