Tests A/B de campagnes : comment tester les lots, les formats et les formulaires

Une carte à gratter est-elle meilleure qu’une roue ? Un lot plus gros apporte-t-il plus d’inscriptions, ou seulement plus de chasseurs de lots ? Faut-il demander un numéro de téléphone ou non ? Le test A/B de campagnes est le moyen le plus fiable de le savoir. Au lieu de deviner, vous présentez deux versions à des groupes de personnes comparables et vous laissez les résultats décider.

Ce guide explique quoi tester en premier, de combien de personnes vous avez besoin, comment mettre en place des tests de lots, de formats et de formulaires, et comment lire les résultats sans vous tromper vous-même.

Tests A/B de campagnes : les bases

Un test A/B compare deux versions d’un même élément qui ne diffèrent que sur un point. La version A est votre campagne actuelle (le témoin). La version B modifie une seule chose, par exemple le lot. Tout le reste est identique : le public, le calendrier, le canal et le design.

Trois règles rendent un test utile :

1. Ne changez qu’une chose à la fois. Si vous changez le lot et le format, vous ne saurez pas lequel a fait la différence.
2. Répartissez le public au hasard. Les deux groupes doivent être comparables. Ordinateur contre mobile, ou lundi contre vendredi, n’est pas une répartition aléatoire.
3. Décidez de l’indicateur avant de commencer. Choisissez le seul chiffre qui désigne le gagnant, par exemple le taux d’inscription (inscriptions ÷ visites).

Comment répartir le trafic pour une campagne gamifiée

Scratcher n’a pas de répartition A/B intégrée : vous réalisez donc le test en créant deux copies de la campagne et en répartissant le trafic dans le canal qui y envoie les gens. C’est souvent la configuration la plus propre de toute façon :

• Newsletter. La plupart des outils d’e-mailing peuvent répartir un envoi au hasard. Placez le lien vers la campagne A dans une version et vers la campagne B dans l’autre.
• Réseaux sociaux et recherche payants. Créez deux annonces ou ensembles d’annonces avec le même ciblage et le même budget, chacun renvoyant vers sa propre campagne. De nombreuses plateformes publicitaires proposent leur propre fonction de test comparatif pour cela.
• QR codes et print. Utilisez deux QR codes sur des affiches, flyers ou tickets de caisse en alternance dans les mêmes magasins.
• Pop-ups sur site web. Vous pouvez cibler les pop-ups par page, domaine et appareil : le test le plus propre se fait donc entre des pages ou des sections comparables. Interprétez le résultat avec un peu plus de prudence que pour une répartition aléatoire.

Si rien de tout cela n’est possible, vous pouvez diffuser A et B sur des périodes consécutives. C’est l’option la plus faible, car les saisons, les jours de la semaine et les campagnes menées ailleurs influencent le résultat : ne l’utilisez que pour de grandes différences.

Quoi tester en premier

Vous pouvez tester presque tout, mais certains changements comptent bien plus que d’autres. Commencez par les décisions qui touchent le plus de monde et coûtent le plus cher :

1. Le lot. Ce que l’on peut gagner est généralement le principal moteur de participation.
2. Le formulaire. Le nombre de champs détermine combien de joueurs deviennent des inscrits.
3. Le format. Un jeu de hasard rapide contre un quiz ou un jeu d’adresse.
4. L’invitation. Le titre, le texte du bouton ou l’objet de l’e-mail qui pousse les gens à commencer.
5. Le moment et l’emplacement des pop-ups : après un délai, au défilement, à l’intention de sortie ou au clic.

Laissez les couleurs et les petites modifications de texte pour plus tard. Elles font rarement assez bouger le résultat pour être mesurées avec des audiences de la taille d’une campagne.

Bases de la taille d’échantillon

L’erreur de test la plus courante est de proclamer un gagnant trop tôt. Avec de petits nombres, le simple hasard peut facilement faire paraître une version meilleure.

Le nombre de personnes dont vous avez besoin dépend de trois facteurs :

• Votre taux de conversion actuel. Plus l’action est rare, plus il vous faut de monde.
• La plus petite différence qui vous importe. Détecter une petite amélioration demande bien plus de visiteurs que détecter une grande.
• Le niveau de certitude souhaité. La plupart des tests utilisent un niveau de confiance de 95 %.

Vous n’avez pas besoin de faire le calcul à la main. Un outil gratuit comme le calculateur de taille d’échantillon d’Evan Miller vous indique combien de visiteurs il vous faut par version. Saisissez votre taux de conversion de référence et la plus petite amélioration sur laquelle vous agiriez.

Si la réponse dépasse le trafic dont vous disposez, ne lancez pas un test approximatif. Testez plutôt un changement plus important, ou regroupez le test sur plusieurs campagnes.

Tester un lot contre l’absence de lot

Avant de tester quel lot fonctionne le mieux, il peut valoir la peine de tester si le lot compte vraiment pour votre public. Par exemple :

• A : une roue où tout le monde gagne un petit code de réduction
• B : la même roue avec un tirage au sort d’un gros lot pour tous les participants, et sans code de réduction

Ne regardez pas seulement les inscriptions. Un lot qui attire beaucoup de personnes qui ne veulent que le lot peut vous donner une longue liste avec un faible engagement par la suite. Suivez les deux groupes pendant quelques semaines après la campagne et comparez :

• Les taux d’ouverture et de clic des e-mails
• Les désabonnements
• Les achats ou les utilisations de codes

Dans Scratcher, vous contrôlez les lots dans le détail : gains instantanés, tirages au sort, codes de réduction et codes-barres uniques, combien de chaque lot peuvent être gagnés et quand. Il est ainsi facile de garder tout le reste identique entre A et B.

Des idées de lots à tester les uns contre les autres :

• Votre propre produit contre une carte cadeau
• Un gros lot contre de nombreux petits lots
• Un code de réduction pour tous contre un tirage au sort pour quelques-uns
• Un lot de consolation contre aucun lot de consolation

Tester le format

Le format influence le temps que les gens passent avec votre marque et ce que vous apprenez d’eux. Comparaisons typiques :

• Carte à gratter contre roue de la fortune. Deux jeux de hasard rapides. Un bon premier test si vous voulez plus d’inscriptions.
• Jeu de hasard contre quiz. Un quiz prend plus de temps mais apprend aux gens à connaître vos produits, et les réponses vous disent ce qu’ils aiment.
• Jeu unique contre calendrier. Un calendrier fait revenir les gens de nombreuses fois. Comparez le total des inscriptions et les visites répétées, pas seulement les chiffres du premier jour.

Lorsque vous testez des formats, gardez le lot, le formulaire et l’invitation identiques. Choisissez parmi plus de 40 formats, et utilisez le même style de modèle pour les deux versions afin que le design ne fausse pas le résultat.

Tester la longueur du formulaire

Chaque champ que vous ajoutez fait perdre quelques participants. Mais certains champs, comme un numéro de téléphone ou une date de naissance, peuvent valoir cette perte. Le test vous dit si c’est le cas.

Exemple de test :

• A : nom et e-mail
• B : nom, e-mail et numéro de téléphone

Mesurez les deux :

• Le taux d’inscription (inscriptions ÷ joueurs)
• La valeur par inscription. Si un numéro de téléphone vous permet de vendre par SMS, B peut l’emporter sur la valeur même s’il perd sur le volume.

Gardez le même texte de consentement dans les deux versions, afin que la seule différence soit le champ supplémentaire.

Lire les résultats

Lorsque le test a atteint la taille d’échantillon prévue, comparez les deux versions sur l’indicateur choisi au départ.

• Vérifiez la significativité. Utilisez le même calculateur ou un calculateur de significativité pour voir si la différence est probablement réelle.
• Regardez l’ensemble du tunnel. Visites → joueurs → inscriptions → actions de suivi. Une version peut gagner à une étape et perdre à la suivante.
• Cherchez les surprises. Une annonce a-t-elle reçu plus de budget ? Un e-mail est-il arrivé dans plus de dossiers de spam ? Si la répartition n’était pas équitable, le résultat ne l’est pas non plus.
• Notez ce que vous avez appris, même s’il n’y a pas de gagnant. « Le lot n’a fait aucune différence » est un résultat utile.

Les statistiques de Scratcher indiquent les visites, les joueurs, les inscriptions et les gagnants de chaque campagne en quasi-temps réel, ainsi que l’origine des participants. Comme A et B sont des campagnes distinctes, vous pouvez les comparer côte à côte. Vous pouvez aussi suivre les deux dans Google Analytics ou votre plateforme publicitaire. Pour la liste complète des indicateurs à suivre, consultez notre article sur les KPI du marketing par la gamification.

Modèle de journal de tests

Tenez un journal simple de chaque test, afin que l’équipe accumule des connaissances au fil du temps au lieu de répéter les mêmes tests. Copiez cette structure dans un tableur :

Commencez par un seul test

Vous n’avez pas besoin d’un programme de tests pour commencer. Prenez votre prochaine campagne, choisissez la décision dont vous êtes le moins sûr, en général le lot, et répartissez le trafic dans votre newsletter ou vos annonces. Un bon test vous apprend plus que dix suppositions.

Vous voulez plus d’idées pour convertir les visiteurs de votre site ? Lisez notre guide des pop-ups à fort taux de conversion, découvrez comment fonctionnent les pop-ups de jeu, ou essayez Scratcher gratuitement pendant 14 jours et créez dès aujourd’hui les versions A et B.