Testes A/B em campanhas: como testar prémios, formatos e formulários

Uma raspadinha é melhor do que uma roda? Um prémio maior traz mais registos ou apenas mais caçadores de prémios? Deve pedir o número de telefone ou não? Fazer testes A/B em campanhas é a forma mais fiável de descobrir. Em vez de adivinhar, mostra duas versões a grupos de pessoas comparáveis e deixa que os resultados decidam.

Este guia explica o que testar primeiro, de quantas pessoas precisa, como configurar testes de prémios, formatos e formulários, e como ler os resultados sem se enganar a si próprio.

Testes A/B em campanhas: o essencial

Um teste A/B compara duas versões de algo que diferem num único aspeto. A versão A é a sua campanha atual (o controlo). A versão B muda uma coisa, como o prémio. Tudo o resto se mantém igual: o público, o momento, o canal e o design.

Três regras fazem com que um teste valha a pena:

1. Mude uma coisa de cada vez. Se mudar o prémio e o formato, não saberá qual deles fez a diferença.
2. Divida o público de forma aleatória. Os dois grupos têm de ser comparáveis. Computador vs. telemóvel, ou segunda-feira vs. sexta-feira, não é uma divisão aleatória.
3. Decida a métrica antes de começar. Escolha o único número que decide o vencedor, por exemplo a taxa de registo (registos ÷ visitas).

Como dividir o tráfego numa campanha gamificada

O Scratcher não tem uma divisão A/B integrada, por isso faz o teste criando duas cópias da campanha e dividindo o tráfego no canal que leva as pessoas até lá. Muitas vezes, esta é de qualquer forma a configuração mais limpa:

• Newsletter. A maioria das ferramentas de e-mail consegue dividir um envio de forma aleatória. Coloque o link para a campanha A numa versão e o da campanha B na outra.
• Redes sociais pagas e pesquisa. Crie dois anúncios ou conjuntos de anúncios com a mesma segmentação e o mesmo orçamento, cada um com link para a sua própria campanha. Muitas plataformas de anúncios têm a sua própria funcionalidade de split test para isto.
• Códigos QR e impressos. Use dois códigos QR em cartazes, folhetos ou talões alternados nas mesmas lojas.
• Pop-ups no website. Pode segmentar os pop-ups por página, domínio e dispositivo, por isso o teste mais limpo é entre páginas ou secções comparáveis. Trate o resultado com um pouco mais de cautela do que uma divisão aleatória.

Se nada disto for possível, pode fazer A e B em períodos consecutivos. É a opção mais fraca, porque as épocas do ano, os dias da semana e as campanhas noutros canais afetam o resultado, por isso use-a apenas para grandes diferenças.

O que testar primeiro

Pode testar quase tudo, mas algumas alterações importam muito mais do que outras. Comece pelas decisões que afetam mais pessoas e custam mais dinheiro:

1. O prémio. O que as pessoas podem ganhar é normalmente o principal motor da participação.
2. O formulário. O número de campos decide quantos jogadores se tornam registos.
3. O formato. Um jogo de sorte rápido vs. um quiz ou um jogo de habilidade.
4. O convite. O título, o texto do botão ou o assunto do e-mail que leva as pessoas a começar.
5. O momento e a colocação dos pop-ups: após um atraso, ao fazer scroll, na intenção de saída ou ao clicar.

Deixe as cores e pequenas alterações de texto para mais tarde. Raramente mexem o suficiente no resultado para serem medidas com públicos do tamanho de uma campanha.

Noções básicas de dimensão da amostra

O erro mais comum nos testes é declarar um vencedor cedo demais. Com números pequenos, o ruído aleatório pode facilmente fazer uma versão parecer melhor.

O número de pessoas de que precisa depende de três coisas:

• A sua taxa de conversão atual. Quanto mais rara for a ação, mais pessoas precisa.
• A menor diferença que lhe interessa. Detetar uma pequena melhoria exige muito mais visitantes do que detetar uma grande.
• O grau de certeza que pretende. A maioria dos testes usa 95 % de confiança.

Não precisa de fazer as contas à mão. Uma ferramenta gratuita como a calculadora de dimensão da amostra de Evan Miller diz-lhe de quantos visitantes precisa por versão. Introduza a sua taxa de conversão de base e a menor melhoria que o levaria a agir.

Se a resposta for mais tráfego do que vai ter, não faça um teste inconclusivo. Teste antes uma alteração maior ou combine o teste em várias campanhas.

Testar prémio vs. sem prémio

Antes de testar que prémio funciona melhor, pode valer a pena testar se o prémio importa de todo para o seu público. Por exemplo:

• A: Uma roda em que todos ganham um pequeno código de desconto
• B: A mesma roda com um sorteio de um grande prémio para todos os participantes, e sem código de desconto

Olhe para além dos registos. Um prémio que atrai muitas pessoas que só querem o prémio pode dar-lhe uma lista longa com pouco envolvimento depois. Acompanhe os dois grupos durante algumas semanas após a campanha e compare:

• Taxas de abertura e de cliques nos e-mails
• Cancelamentos de subscrição
• Compras ou resgates de códigos

No Scratcher controla os prémios ao pormenor: prémios imediatos, sorteios, códigos de desconto únicos e códigos de barras, quantos de cada podem ser ganhos e quando. Isso facilita manter tudo o resto idêntico entre A e B.

Ideias de prémios que vale a pena testar entre si:

• O seu próprio produto vs. um cartão-presente
• Um grande prémio vs. muitos pequenos
• Um código de desconto para todos vs. um sorteio para alguns
• Um prémio de consolação vs. nenhum prémio de consolação

Testar o formato

O formato afeta o tempo que as pessoas passam com a sua marca e o que fica a saber sobre elas. Comparações típicas:

• Raspadinha vs. roda da sorte. Ambos são jogos de sorte rápidos. Um bom primeiro teste se quer mais registos.
• Jogo de sorte vs. quiz. Um quiz demora mais, mas dá a conhecer os seus produtos, e as respostas dizem-lhe do que as pessoas gostam.
• Jogo único vs. calendário. Um calendário traz as pessoas de volta muitas vezes. Compare o total de registos e as visitas repetidas, não apenas os números do primeiro dia.

Quando testar formatos, mantenha o prémio, o formulário e o convite idênticos. Escolha entre mais de 40 formatos e use o mesmo estilo de modelo nas duas versões, para que o design não distorça o resultado.

Testar a extensão do formulário

Cada campo que acrescenta custa-lhe alguns participantes. Mas alguns campos, como o número de telefone ou a data de nascimento, podem compensar a quebra. O teste diz-lhe se compensam.

Exemplo de teste:

• A: Nome e e-mail
• B: Nome, e-mail e número de telefone

Meça as duas coisas:

• Taxa de registo (registos ÷ jogadores)
• Valor por registo. Se um número de telefone lhe permite vender por SMS, B pode ganhar em valor mesmo que perca em volume.

Mantenha o texto de consentimento igual nas duas versões, para que a única diferença seja o campo adicional.

Ler os resultados

Quando o teste tiver atingido a dimensão da amostra que planeou, compare as duas versões na métrica que escolheu à partida.

• Verifique a significância. Use a mesma calculadora ou uma calculadora de significância para ver se a diferença é provavelmente real.
• Olhe para o funil completo. Visitas → jogadores → registos → ações seguintes. Uma versão pode ganhar numa etapa e perder na seguinte.
• Procure surpresas. Um anúncio recebeu mais orçamento? Um e-mail foi parar a mais pastas de spam? Se a divisão não foi justa, o resultado também não é.
• Registe o que aprendeu, mesmo quando não há vencedor. "O prémio não fez diferença" é um resultado útil.

As estatísticas do Scratcher mostram visitas, jogadores, registos e vencedores de cada campanha quase em tempo real, bem como a origem das pessoas. Como A e B são campanhas separadas, pode compará-las lado a lado. Também pode acompanhar ambas no Google Analytics ou na sua plataforma de anúncios. Para a lista completa de métricas que vale a pena acompanhar, veja o nosso artigo sobre KPI do marketing de gamificação.

Modelo de registo de testes

Mantenha um registo simples de cada teste, para que a equipa acumule conhecimento ao longo do tempo em vez de repetir os mesmos testes. Copie esta estrutura para uma folha de cálculo:

Comece com um teste

Não precisa de um programa de testes para começar. Escolha a sua próxima campanha, escolha a decisão de que tem menos certeza (normalmente o prémio) e divida o tráfego na sua newsletter ou nos seus anúncios. Um bom teste ensina-lhe mais do que dez palpites.

Quer mais ideias para converter os visitantes do website? Leia o nosso guia sobre pop-ups de alta conversão, veja como funcionam os pop-ups com jogos ou experimente o Scratcher gratuitamente durante 14 dias e crie hoje as versões A e B.