Ferramenta gratuita
Calculadora de teste A/B
Verifique se a diferença entre duas variantes é estatisticamente significativa e descubra de quantos visitantes um teste precisa. Grátis, sem cadastro e com todas as fórmulas à mostra.
O que significância estatística quer dizer em um teste A/B
Em um teste A/B, você mostra duas versões de algo para dois grupos aleatórios de pessoas e compara quantas convertem. A variante B quase nunca tem exatamente a mesma taxa da variante A, mesmo quando a mudança não faz diferença nenhuma. A questão é se a diferença é maior do que se esperaria só pelo acaso.
O valor-p responde a isso. Ele é a probabilidade de ver uma diferença pelo menos desse tamanho se as duas variantes tivessem, de fato, o mesmo desempenho. Um valor-p de 0,036 significa que uma diferença como a sua apareceria por acaso em cerca de 3,6% dos testes sem diferença real. Se o valor-p estiver abaixo do seu limite (0,05 para um nível de confiança de 95%), o resultado é considerado estatisticamente significativo.
Como a calculadora funciona
A calculadora usa um teste z para duas proporções. Ela combina as conversões das duas variantes para estimar a taxa esperada caso não houvesse diferença, calcula o erro padrão a partir disso e divide a diferença entre as duas taxas por ele. O resultado é o escore z: quantos erros padrão separam as duas taxas. O valor-p vem da distribuição normal.
Um exemplo: a variante A tem 100 conversões em 1.000 visitantes (10%) e a variante B tem 130 em 1.000 (13%). Isso dá um ganho relativo de 30%, um escore z de cerca de 2,10 e um valor-p bicaudal de cerca de 0,036. B é significativamente melhor a 95%, mas não a 99%.
O intervalo de confiança mostra a faixa em que a diferença real provavelmente está. No exemplo, ela vai de cerca de +0,2 a +5,8 pontos percentuais. Um intervalo amplo indica que o teste ainda não é preciso, mesmo que seja significativo.
Vai fazer uma pesquisa em vez de um teste? A calculadora de tamanho de amostra para pesquisas informa de quantas respostas você precisa.
Planeje o tamanho da amostra primeiro
A maioria dos testes que falham é pequena demais. Antes de começar, defina a menor mudança que vale uma ação e use o assistente pré-teste para ver de quantos visitantes cada variante precisa com poder de 80%. O poder é a chance de o teste detectar um efeito desse tamanho, se ele realmente existir. Depois, rode o teste até atingir esse número, e por semanas completas, para incluir tanto dias úteis quanto fins de semana.
Algumas outras regras ajudam:
- Teste uma mudança por vez, como o prêmio, o formato de jogo ou o número de campos do formulário, para saber o que fez a diferença.
- Escolha a métrica antes do teste. Taxa de cadastro, taxa de conclusão e taxa de opt-in podem seguir direções diferentes.
- Não espie para parar antes. Parar assim que o valor-p cai abaixo de 0,05 torna falsos vencedores muito mais comuns.
Nosso guia de testes A/B em campanhas gamificadas mostra o que vale a pena testar em uma campanha, e a lista de KPIs de marketing de gamificação ajuda você a escolher a métrica. No Scratcher, os números de cada campanha ficam em análises. Para ver quanto vale em dinheiro uma taxa de conversão melhor, use a calculadora de ROI de campanhas.
A significância estatística indica se uma diferença provavelmente é real, não se ela é grande o bastante para importar. Observe também o ganho e o intervalo de confiança.
A calculadora de teste A/B é gratuita?
Sim. Você pode usá-la de graça quantas vezes quiser, sem precisar de conta. Nada do que você digita é enviado para nós.
Qual valor-p é considerado significativo?
Depende do nível de confiança que você escolher antes do teste. A 95%, um valor-p abaixo de 0,05 é significativo. A 90%, o limite é 0,10, e a 99%, é 0,01. Um nível mais rigoroso gera menos falsos vencedores, mas exige mais visitantes.
Devo usar um teste unicaudal ou bicaudal?
Use o bicaudal, a menos que você tenha decidido de antemão que só importa saber se B é melhor e que trataria um B pior da mesma forma que ausência de diferença. Um teste unicaudal atinge significância mais rápido, mas não consegue dizer se B é pior.
Meu resultado não é significativo. E agora?
Isso significa que o teste não mostrou uma diferença, não que ela não exista. Confira o assistente pré-teste: se você tiver bem menos visitantes do que o necessário, mantenha o teste rodando. Se já atingiu o tamanho de amostra planejado, considere as variantes equivalentes e teste uma mudança maior.
Por que a calculadora alerta sobre amostras pequenas?
O teste z se baseia em uma aproximação que só funciona quando cada variante tem conversões e não conversões suficientes, cerca de 5 ou mais de cada. Com menos dados, o valor-p pode enganar; então, colete mais antes de decidir.
Deixe o próximo sorteio acontecer sozinho
Realize seu concurso na sua própria página, colete e-mails e consentimentos e tenha os ganhadores sorteados automaticamente. Experimente grátis por 14 dias, sem cartão de crédito.