Pular para o conteúdo
Rex, seu assistente de IA: o trabalho braçal fica com ele, as ideias ficam com você 👉 Conheça o Rex

Ferramenta gratuita

Calculadora de teste A/B

Verifique se a diferença entre duas variantes é estatisticamente significativa e descubra de quantos visitantes um teste precisa. Grátis, sem cadastro e com todas as fórmulas à mostra.

Variante A (controle)
Variante B
Configurações do teste
Tipo de teste

Um teste bicaudal verifica se B difere de A em qualquer direção. Um teste unicaudal verifica apenas se B é melhor. Escolha antes de o teste começar, não depois de ver os números.

Resultado

Taxa de conversão A
–
Taxa de conversão B
–
Ganho relativo (B vs. A)
–
Escore z
–
Valor-p
–
–

De quantos visitantes seu teste precisa?

Planeje o teste antes de começar. Informe sua taxa de conversão atual e a menor mudança que justificaria uma ação.

Uma mudança relativa: 20 significa que você quer detectar uma variação de 10% para 12%. Quanto menor o efeito, mais visitantes são necessários.

Visitantes necessários por variante

–

Como é calculado

  • Taxa de conversão: pA = conversões A ÷ visitantes A, e o mesmo para B
  • Ganho relativo: (pB − pA) ÷ pA
  • Taxa combinada: p = (conversões A + conversões B) ÷ (visitantes A + visitantes B)
  • Erro padrão combinado: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), em que n é o número de visitantes
  • Escore z: z = (pB − pA) ÷ SE
  • Valor-p: bicaudal 2 × (1 − Φ(|z|)), unicaudal 1 − Φ(z), em que Φ é a distribuição normal padrão. O resultado é significativo quando o valor-p fica abaixo de 1 − o nível de confiança, por exemplo, 0,05 a 95%.
  • Intervalo de confiança da diferença: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), com z* = 1,645, 1,960 ou 2,576 para 90%, 95% ou 99%. Esse intervalo usa o erro padrão não combinado.
  • Visitantes por variante: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², em que p1 é a taxa atual, p2 = p1 × (1 + efeito), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 ou 2,576 e zβ = 0,842 para poder de 80% ou 1,282 para 90%. O resultado é arredondado para cima.

A calculadora roda no seu navegador e nada do que você digita é enviado para nós. Ela usa um teste z para duas proporções, o teste padrão para comparar duas taxas de conversão quando cada variante tem um número razoável de conversões. Defina o tamanho da amostra antes de o teste começar e não pare assim que o resultado ficar significativo: conferir várias vezes aumenta a chance de falsos positivos.

O que significância estatística quer dizer em um teste A/B

Em um teste A/B, você mostra duas versões de algo para dois grupos aleatórios de pessoas e compara quantas convertem. A variante B quase nunca tem exatamente a mesma taxa da variante A, mesmo quando a mudança não faz diferença nenhuma. A questão é se a diferença é maior do que se esperaria só pelo acaso.

O valor-p responde a isso. Ele é a probabilidade de ver uma diferença pelo menos desse tamanho se as duas variantes tivessem, de fato, o mesmo desempenho. Um valor-p de 0,036 significa que uma diferença como a sua apareceria por acaso em cerca de 3,6% dos testes sem diferença real. Se o valor-p estiver abaixo do seu limite (0,05 para um nível de confiança de 95%), o resultado é considerado estatisticamente significativo.

Como a calculadora funciona

A calculadora usa um teste z para duas proporções. Ela combina as conversões das duas variantes para estimar a taxa esperada caso não houvesse diferença, calcula o erro padrão a partir disso e divide a diferença entre as duas taxas por ele. O resultado é o escore z: quantos erros padrão separam as duas taxas. O valor-p vem da distribuição normal.

Um exemplo: a variante A tem 100 conversões em 1.000 visitantes (10%) e a variante B tem 130 em 1.000 (13%). Isso dá um ganho relativo de 30%, um escore z de cerca de 2,10 e um valor-p bicaudal de cerca de 0,036. B é significativamente melhor a 95%, mas não a 99%.

O intervalo de confiança mostra a faixa em que a diferença real provavelmente está. No exemplo, ela vai de cerca de +0,2 a +5,8 pontos percentuais. Um intervalo amplo indica que o teste ainda não é preciso, mesmo que seja significativo.

Vai fazer uma pesquisa em vez de um teste? A calculadora de tamanho de amostra para pesquisas informa de quantas respostas você precisa.

Planeje o tamanho da amostra primeiro

A maioria dos testes que falham é pequena demais. Antes de começar, defina a menor mudança que vale uma ação e use o assistente pré-teste para ver de quantos visitantes cada variante precisa com poder de 80%. O poder é a chance de o teste detectar um efeito desse tamanho, se ele realmente existir. Depois, rode o teste até atingir esse número, e por semanas completas, para incluir tanto dias úteis quanto fins de semana.

Algumas outras regras ajudam:

  1. Teste uma mudança por vez, como o prêmio, o formato de jogo ou o número de campos do formulário, para saber o que fez a diferença.
  2. Escolha a métrica antes do teste. Taxa de cadastro, taxa de conclusão e taxa de opt-in podem seguir direções diferentes.
  3. Não espie para parar antes. Parar assim que o valor-p cai abaixo de 0,05 torna falsos vencedores muito mais comuns.

Nosso guia de testes A/B em campanhas gamificadas mostra o que vale a pena testar em uma campanha, e a lista de KPIs de marketing de gamificação ajuda você a escolher a métrica. No Scratcher, os números de cada campanha ficam em análises. Para ver quanto vale em dinheiro uma taxa de conversão melhor, use a calculadora de ROI de campanhas.

A significância estatística indica se uma diferença provavelmente é real, não se ela é grande o bastante para importar. Observe também o ganho e o intervalo de confiança.

Perguntas

Perguntas sobre significância em testes A/B

Agende uma reunião
A calculadora de teste A/B é gratuita?

Sim. Você pode usá-la de graça quantas vezes quiser, sem precisar de conta. Nada do que você digita é enviado para nós.

Qual valor-p é considerado significativo?

Depende do nível de confiança que você escolher antes do teste. A 95%, um valor-p abaixo de 0,05 é significativo. A 90%, o limite é 0,10, e a 99%, é 0,01. Um nível mais rigoroso gera menos falsos vencedores, mas exige mais visitantes.

Devo usar um teste unicaudal ou bicaudal?

Use o bicaudal, a menos que você tenha decidido de antemão que só importa saber se B é melhor e que trataria um B pior da mesma forma que ausência de diferença. Um teste unicaudal atinge significância mais rápido, mas não consegue dizer se B é pior.

Meu resultado não é significativo. E agora?

Isso significa que o teste não mostrou uma diferença, não que ela não exista. Confira o assistente pré-teste: se você tiver bem menos visitantes do que o necessário, mantenha o teste rodando. Se já atingiu o tamanho de amostra planejado, considere as variantes equivalentes e teste uma mudança maior.

Por que a calculadora alerta sobre amostras pequenas?

O teste z se baseia em uma aproximação que só funciona quando cada variante tem conversões e não conversões suficientes, cerca de 5 ou mais de cada. Com menos dados, o valor-p pode enganar; então, colete mais antes de decidir.

Deixe o próximo sorteio acontecer sozinho

Realize seu concurso na sua própria página, colete e-mails e consentimentos e tenha os ganhadores sorteados automaticamente. Experimente grátis por 14 dias, sem cartão de crédito.