Ir al contenido
Rex, tu asistente de IA: él se encarga del trabajo pesado, las ideas son tuyas 👉 Conoce a Rex

Herramienta gratuita

Calculadora de pruebas A/B

Comprueba si la diferencia entre dos variantes es estadísticamente significativa y calcula cuántos visitantes necesita una prueba. Gratis, sin registro y con todas las fórmulas a la vista.

Variante A (control)
Variante B
Configuración de la prueba
Tipo de prueba

Una prueba bilateral comprueba si B difiere de A en cualquier dirección. Una prueba unilateral solo comprueba si B es mejor. Elige antes de que empiece la prueba, no después de ver los números.

Resultado

Tasa de conversión A
–
Tasa de conversión B
–
Incremento relativo (B frente a A)
–
Puntuación Z
–
Valor p
–
–

¿Cuántos visitantes necesita tu prueba?

Planifica la prueba antes de empezarla. Ingresa tu tasa de conversión actual y el cambio más pequeño que te haría actuar.

Un cambio relativo: 20 significa que quieres detectar un paso del 10 % al 12 %. Cuanto menor sea el efecto, más visitantes necesitas.

Visitantes necesarios por variante

–

Cómo se calcula

  • Tasa de conversión: pA = conversiones A ÷ visitantes A, y lo mismo para B
  • Incremento relativo: (pB − pA) ÷ pA
  • Tasa combinada: p = (conversiones A + conversiones B) ÷ (visitantes A + visitantes B)
  • Error estándar combinado: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), donde n es el número de visitantes
  • Puntuación Z: z = (pB − pA) ÷ SE
  • Valor p: bilateral 2 × (1 − Φ(|z|)), unilateral 1 − Φ(z), donde Φ es la distribución normal estándar. El resultado es significativo cuando el valor p es menor que 1 − el nivel de confianza, p. ej., 0.05 al 95 %.
  • Intervalo de confianza de la diferencia: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), con z* = 1.645, 1.960 o 2.576 para 90 %, 95 % o 99 %. Este intervalo usa el error estándar no combinado.
  • Visitantes por variante: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², donde p1 es la tasa actual, p2 = p1 × (1 + efecto), p̄ = (p1 + p2) ÷ 2, zα = 1.645, 1.960 o 2.576 y zβ = 0.842 para una potencia del 80 % o 1.282 para el 90 %. El resultado se redondea hacia arriba.

La calculadora funciona en tu navegador y nada de lo que escribes se nos envía. Usa una prueba z de dos proporciones, la prueba estándar para comparar dos tasas de conversión cuando cada variante tiene un número razonable de conversiones. Define el tamaño de muestra antes de empezar la prueba y no la detengas en cuanto el resultado sea significativo: revisar una y otra vez aumenta la probabilidad de falsos positivos.

Qué significa la significancia estadística en una prueba A/B

En una prueba A/B muestras dos versiones de algo a dos grupos aleatorios de personas y comparas cuántas convierten. La variante B casi nunca obtiene exactamente la misma tasa que la variante A, aunque el cambio no tenga ningún efecto. La pregunta es si la diferencia es mayor de lo que cabría esperar solo por azar.

El valor p responde a eso. Es la probabilidad de ver una diferencia al menos así de grande si las dos variantes en realidad rindieran igual. Un valor p de 0.036 significa que una diferencia como la tuya aparecería por azar en aproximadamente el 3.6 % de las pruebas sin diferencia real. Si el valor p está por debajo de tu umbral (0.05 para un nivel de confianza del 95 %), el resultado se considera estadísticamente significativo.

Cómo funciona la calculadora

La calculadora usa una prueba z de dos proporciones. Combina las conversiones de ambas variantes para estimar la tasa esperada si no hubiera diferencia, calcula a partir de ella el error estándar y divide entre él la diferencia entre las dos tasas. El resultado es la puntuación Z: cuántos errores estándar separan ambas tasas. El valor p se obtiene de la distribución normal.

Un ejemplo: la variante A logra 100 conversiones de 1,000 visitantes (10 %) y la variante B logra 130 de 1,000 (13 %). Eso equivale a un incremento relativo del 30 %, una puntuación Z de aproximadamente 2.10 y un valor p bilateral de aproximadamente 0.036. B es significativamente mejor al 95 %, pero no al 99 %.

El intervalo de confianza muestra el rango en el que probablemente se encuentra la diferencia real. En el ejemplo va de aproximadamente +0.2 a +5.8 puntos porcentuales. Un intervalo amplio indica que la prueba todavía no es precisa, aunque sea significativa.

¿Estás haciendo una encuesta en lugar de una prueba? La calculadora de tamaño de muestra para encuestas te dice cuántas respuestas necesitas.

Planifica primero el tamaño de muestra

La mayoría de las pruebas fallidas son demasiado pequeñas. Antes de empezar, define el cambio más pequeño por el que valga la pena actuar y usa la herramienta de planificación para ver cuántos visitantes necesita cada variante con una potencia del 80 %. La potencia es la probabilidad de que la prueba detecte un efecto de ese tamaño si realmente existe. Luego mantén la prueba hasta alcanzar esa cifra, y hazlo durante semanas completas para incluir tanto días hábiles como fines de semana.

Algunas reglas más ayudan:

  1. Prueba un solo cambio a la vez, como el premio, el formato de juego o el número de campos del formulario, para saber qué marcó la diferencia.
  2. Elige la métrica antes de la prueba. La tasa de registro, la tasa de finalización y la tasa de opt-in pueden moverse en direcciones distintas.
  3. No espíes y te detengas. Detener la prueba en cuanto el valor p baja de 0.05 hace que los falsos ganadores sean mucho más frecuentes.

Nuestra guía sobre pruebas A/B en campañas gamificadas muestra qué vale la pena probar en una campaña, y la lista de KPI de marketing con gamificación te ayuda a elegir la métrica. En Scratcher, los números de cada campaña están en analíticas. Para ver cuánto dinero vale una mejor tasa de conversión, usa la calculadora de ROI de campañas.

La significancia estadística te dice si es probable que una diferencia sea real, no si es lo bastante grande como para importar. Revisa también el incremento y el intervalo de confianza.

Preguntas

Preguntas sobre la significancia en pruebas A/B

Agendar una reunión
¿La calculadora de pruebas A/B es gratuita?

Sí. Puedes usarla gratis todas las veces que quieras y no necesitas una cuenta. Nada de lo que escribes se nos envía.

¿Qué valor p se considera significativo?

Depende del nivel de confianza que elijas antes de la prueba. Al 95 %, un valor p menor que 0.05 es significativo. Al 90 % el umbral es 0.10 y al 99 % es 0.01. Un nivel más estricto implica menos falsos ganadores, pero requiere más visitantes.

¿Debo usar una prueba unilateral o bilateral?

Usa la bilateral, a menos que hayas decidido de antemano que solo te importa si B es mejor y que tratarías un B peor igual que la ausencia de diferencia. Una prueba unilateral alcanza la significancia antes, pero no puede decirte que B es peor.

Mi resultado no es significativo. ¿Y ahora qué?

Significa que la prueba no ha demostrado una diferencia, no que no exista. Revisa la herramienta de planificación: si tienes muchos menos visitantes de los necesarios, mantén la prueba en marcha. Si ya alcanzaste el tamaño de muestra previsto, considera que las variantes son equivalentes y prueba un cambio mayor.

¿Por qué la calculadora advierte sobre muestras pequeñas?

La prueba z se basa en una aproximación que solo funciona cuando cada variante tiene suficientes conversiones y no conversiones, aproximadamente 5 o más de cada una. Con menos datos, el valor p puede ser engañoso, así que reúne más antes de decidir.

Deja que el próximo sorteo se haga solo

Lanza tu concurso en tu propia página, recopila correos electrónicos y consentimientos, y deja que los ganadores se sorteen automáticamente. Pruébalo gratis durante 14 días, sin tarjeta de crédito.