Saltar para o conteúdo

Rex, o seu assistente de IA: o trabalho repetitivo fica tratado. As ideias são suas 👉 Conheça o Rex

Ferramenta gratuita

Calculadora de teste A/B

Verifique se a diferença entre duas variantes é estatisticamente significativa e calcule quantos visitantes um teste precisa. Grátis, sem registo e com todas as fórmulas à vista.

Variante A (controlo)
Variante B
Definições do teste
Tipo de teste

Um teste bilateral verifica se B difere de A em qualquer sentido. Um teste unilateral só verifica se B é melhor. Escolha antes de o teste começar, não depois de ver os números.

Resultado

Taxa de conversão A
–
Taxa de conversão B
–
Subida relativa (B face a A)
–
Valor z
–
Valor-p
–
–
De quantos visitantes precisa o seu teste?

Planeie o teste antes de começar. Introduza a sua taxa de conversão atual e a menor mudança que justificaria agir.

Uma mudança relativa: 20 significa que quer detetar uma subida de 10% para 12%. Quanto menor o efeito, mais visitantes são precisos.

Visitantes necessários por variante

–

Como é calculado

  • Taxa de conversão: pA = conversões A ÷ visitantes A, e o mesmo para B
  • Subida relativa: (pB − pA) ÷ pA
  • Taxa agregada: p = (conversões A + conversões B) ÷ (visitantes A + visitantes B)
  • Erro padrão agregado: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), em que n é o número de visitantes
  • Valor z: z = (pB − pA) ÷ SE
  • Valor-p: bilateral 2 × (1 − Φ(|z|)), unilateral 1 − Φ(z), em que Φ é a distribuição normal padrão. O resultado é significativo quando o valor-p fica abaixo de 1 − o nível de confiança, por exemplo 0,05 a 95%.
  • Intervalo de confiança para a diferença: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), com z* = 1,645, 1,960 ou 2,576 para 90%, 95% ou 99%. Este intervalo usa o erro padrão não agregado.
  • Visitantes por variante: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², em que p1 é a taxa atual, p2 = p1 × (1 + efeito), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 ou 2,576 e zβ = 0,842 para 80% de potência ou 1,282 para 90%. O resultado é arredondado para cima.

A calculadora funciona no seu navegador e nada do que escreve nos é enviado. Usa um teste z para duas proporções, o teste habitual para comparar duas taxas de conversão quando cada variante tem um número razoável de conversões. Decida a dimensão da amostra antes de o teste começar e não pare no momento em que o resultado se torna significativo: verificar vezes sem conta torna os falsos positivos mais prováveis.

O que significa significância estatística num teste A/B

Num teste A/B mostra duas versões de algo a dois grupos aleatórios de pessoas e compara quantas convertem. A variante B quase nunca tem exatamente a mesma taxa que a variante A, mesmo quando a mudança não faz diferença nenhuma. A pergunta é se a diferença é maior do que seria de esperar apenas por acaso.

O valor-p responde a isso. É a probabilidade de ver uma diferença pelo menos tão grande se as duas variantes tivessem, na realidade, o mesmo desempenho. Um valor-p de 0,036 significa que uma diferença como a sua surgiria por acaso em cerca de 3,6% dos testes sem diferença real. Se o valor-p ficar abaixo do seu limite (0,05 para um nível de confiança de 95%), o resultado diz-se estatisticamente significativo.

Como funciona a calculadora

A calculadora usa um teste z para duas proporções. Junta as conversões das duas variantes para estimar a taxa que seria de esperar se não houvesse diferença, calcula a partir daí o erro padrão e divide por ele a diferença entre as duas taxas. O resultado é o valor z: quantos erros padrão separam as duas taxas. O valor-p vem da distribuição normal.

Um exemplo: a variante A tem 100 conversões em 1000 visitantes (10%) e a variante B tem 130 em 1000 (13%). Isso é uma subida relativa de 30%, um valor z de cerca de 2,10 e um valor-p bilateral de cerca de 0,036. B é significativamente melhor a 95%, mas não a 99%.

O intervalo de confiança mostra o intervalo em que a verdadeira diferença provavelmente se encontra. No exemplo, vai de cerca de +0,2 a +5,8 pontos percentuais. Um intervalo largo indica que o teste ainda não é preciso, mesmo que seja significativo.

Está a fazer um inquérito em vez de um teste? A calculadora de tamanho da amostra para inquéritos diz-lhe quantas respostas precisa.

Planeie primeiro a dimensão da amostra

A maioria dos testes falhados é demasiado pequena. Antes de começar, decida qual a menor mudança que justificaria agir e use o planeador para ver quantos visitantes cada variante precisa com 80% de potência. A potência é a probabilidade de o teste detetar um efeito desse tamanho se ele existir mesmo. Depois, deixe o teste correr até atingir esse número, e por semanas completas, para incluir dias úteis e fins de semana.

Há outras regras que ajudam:

  1. Teste uma mudança de cada vez, como o prémio, o formato do jogo ou o número de campos do formulário, para saber o que fez a diferença.
  2. Escolha a métrica antes do teste. A taxa de registo, a taxa de conclusão e a taxa de consentimento podem mexer em sentidos diferentes.
  3. Não espreite e pare. Parar assim que o valor-p desce abaixo de 0,05 torna os falsos vencedores muito mais frequentes.

O nosso guia sobre testes A/B em campanhas gamificadas mostra o que vale a pena testar numa campanha, e a lista de KPIs de marketing com gamificação ajuda a escolher a métrica. No Scratcher, os números de cada campanha estão na análise. Para ver quanto vale em dinheiro uma taxa de conversão melhor, use a calculadora de ROI de campanhas.

A significância estatística diz se uma diferença é provavelmente real, não se é grande o suficiente para importar. Olhe também para a subida e para o intervalo de confiança.

Perguntas

Perguntas sobre significância em testes A/B

Marque uma reunião

  • Sim. Pode usá-la gratuitamente as vezes que quiser e não precisa de conta. Nada do que escreve nos é enviado.

  • Depende do nível de confiança que escolhe antes do teste. A 95%, um valor-p abaixo de 0,05 é significativo. A 90% o limite é 0,10 e a 99% é 0,01. Um nível mais exigente significa menos falsos vencedores, mas precisa de mais visitantes.

  • Use o bilateral, a não ser que tenha decidido de antemão que só lhe interessa saber se B é melhor e que trataria um B pior como ausência de diferença. Um teste unilateral chega mais depressa à significância, mas não lhe diz que B é pior.

  • Significa que o teste não mostrou uma diferença, não que ela não existe. Veja o planeador: se tem muito menos visitantes do que o necessário, mantenha o teste a correr. Se já atingiu a dimensão de amostra planeada, trate as variantes como iguais e teste uma mudança maior.

  • O teste z assenta numa aproximação que só funciona quando cada variante tem conversões e não conversões suficientes, cerca de 5 ou mais de cada. Com menos dados, o valor-p pode enganar, por isso recolha mais antes de decidir.