Ferramenta gratuita
Calculadora de teste A/B
Verifique se a diferença entre duas variantes é estatisticamente significativa e calcule quantos visitantes um teste precisa. Grátis, sem registo e com todas as fórmulas à vista.
O que significa significância estatística num teste A/B
Num teste A/B mostra duas versões de algo a dois grupos aleatórios de pessoas e compara quantas convertem. A variante B quase nunca tem exatamente a mesma taxa que a variante A, mesmo quando a mudança não faz diferença nenhuma. A pergunta é se a diferença é maior do que seria de esperar apenas por acaso.
O valor-p responde a isso. É a probabilidade de ver uma diferença pelo menos tão grande se as duas variantes tivessem, na realidade, o mesmo desempenho. Um valor-p de 0,036 significa que uma diferença como a sua surgiria por acaso em cerca de 3,6% dos testes sem diferença real. Se o valor-p ficar abaixo do seu limite (0,05 para um nível de confiança de 95%), o resultado diz-se estatisticamente significativo.
Como funciona a calculadora
A calculadora usa um teste z para duas proporções. Junta as conversões das duas variantes para estimar a taxa que seria de esperar se não houvesse diferença, calcula a partir daí o erro padrão e divide por ele a diferença entre as duas taxas. O resultado é o valor z: quantos erros padrão separam as duas taxas. O valor-p vem da distribuição normal.
Um exemplo: a variante A tem 100 conversões em 1000 visitantes (10%) e a variante B tem 130 em 1000 (13%). Isso é uma subida relativa de 30%, um valor z de cerca de 2,10 e um valor-p bilateral de cerca de 0,036. B é significativamente melhor a 95%, mas não a 99%.
O intervalo de confiança mostra o intervalo em que a verdadeira diferença provavelmente se encontra. No exemplo, vai de cerca de +0,2 a +5,8 pontos percentuais. Um intervalo largo indica que o teste ainda não é preciso, mesmo que seja significativo.
Está a fazer um inquérito em vez de um teste? A calculadora de tamanho da amostra para inquéritos diz-lhe quantas respostas precisa.
Planeie primeiro a dimensão da amostra
A maioria dos testes falhados é demasiado pequena. Antes de começar, decida qual a menor mudança que justificaria agir e use o planeador para ver quantos visitantes cada variante precisa com 80% de potência. A potência é a probabilidade de o teste detetar um efeito desse tamanho se ele existir mesmo. Depois, deixe o teste correr até atingir esse número, e por semanas completas, para incluir dias úteis e fins de semana.
Há outras regras que ajudam:
- Teste uma mudança de cada vez, como o prémio, o formato do jogo ou o número de campos do formulário, para saber o que fez a diferença.
- Escolha a métrica antes do teste. A taxa de registo, a taxa de conclusão e a taxa de consentimento podem mexer em sentidos diferentes.
- Não espreite e pare. Parar assim que o valor-p desce abaixo de 0,05 torna os falsos vencedores muito mais frequentes.
O nosso guia sobre testes A/B em campanhas gamificadas mostra o que vale a pena testar numa campanha, e a lista de KPIs de marketing com gamificação ajuda a escolher a métrica. No Scratcher, os números de cada campanha estão na análise. Para ver quanto vale em dinheiro uma taxa de conversão melhor, use a calculadora de ROI de campanhas.
A significância estatística diz se uma diferença é provavelmente real, não se é grande o suficiente para importar. Olhe também para a subida e para o intervalo de confiança.
A calculadora de teste A/B é gratuita?
Sim. Pode usá-la gratuitamente as vezes que quiser e não precisa de conta. Nada do que escreve nos é enviado.
Que valor-p conta como significativo?
Depende do nível de confiança que escolhe antes do teste. A 95%, um valor-p abaixo de 0,05 é significativo. A 90% o limite é 0,10 e a 99% é 0,01. Um nível mais exigente significa menos falsos vencedores, mas precisa de mais visitantes.
Devo usar um teste unilateral ou bilateral?
Use o bilateral, a não ser que tenha decidido de antemão que só lhe interessa saber se B é melhor e que trataria um B pior como ausência de diferença. Um teste unilateral chega mais depressa à significância, mas não lhe diz que B é pior.
O meu resultado não é significativo. E agora?
Significa que o teste não mostrou uma diferença, não que ela não existe. Veja o planeador: se tem muito menos visitantes do que o necessário, mantenha o teste a correr. Se já atingiu a dimensão de amostra planeada, trate as variantes como iguais e teste uma mudança maior.
Porque é que a calculadora avisa sobre amostras pequenas?
O teste z assenta numa aproximação que só funciona quando cada variante tem conversões e não conversões suficientes, cerca de 5 ou mais de cada. Com menos dados, o valor-p pode enganar, por isso recolha mais antes de decidir.
Deixe o próximo sorteio acontecer sozinho
Faça o passatempo na sua própria página, recolha emails e consentimentos e deixe-nos sortear os vencedores por si. Experimente grátis 14 dias, sem cartão de crédito.