Outil gratuit
Calculateur test A/B
Vérifiez si l’écart entre deux variantes est statistiquement significatif et calculez combien de visiteurs il faut pour un test. Gratuit, sans inscription, et toutes les formules sont affichées.
Ce que signifie la significativité statistique dans un test A/B
Dans un test A/B, vous montrez deux versions de quelque chose à deux groupes de personnes tirés au hasard et vous comparez combien convertissent. La variante B n’obtient presque jamais exactement le même taux que la variante A, même quand le changement ne fait aucune différence. La question est de savoir si l’écart est plus grand que ce que le seul hasard expliquerait.
La p-value répond à cette question. C’est la probabilité d’observer un écart au moins aussi grand si les deux variantes avaient en réalité les mêmes performances. Une p-value de 0,036 signifie qu’un écart comme le vôtre apparaîtrait par hasard dans environ 3,6 % des tests sans vraie différence. Si la p-value est inférieure à votre seuil (0,05 pour un niveau de confiance de 95 %), le résultat est dit statistiquement significatif.
Comment fonctionne le calculateur
Le calculateur utilise un test z à deux proportions. Il regroupe les conversions des deux variantes pour estimer le taux attendu s’il n’y avait aucune différence, en déduit l’erreur type, puis divise l’écart entre les deux taux par cette erreur type. Le résultat est le score z : le nombre d’erreurs types qui séparent les deux taux. La p-value est tirée de la loi normale.
Un exemple : la variante A obtient 100 conversions sur 1 000 visiteurs (10 %) et la variante B 130 sur 1 000 (13 %). Cela donne un uplift relatif de 30 %, un score z d’environ 2,10 et une p-value bilatérale d’environ 0,036. B est significativement meilleur à 95 %, mais pas à 99 %.
L’intervalle de confiance montre la plage dans laquelle se situe probablement la vraie différence. Dans l’exemple, il va d’environ +0,2 à +5,8 points de pourcentage. Un intervalle large indique que le test n’est pas encore précis, même s’il est significatif.
Vous menez une enquête plutôt qu’un test ? L’outil de calcul de la taille d’échantillon pour une enquête vous dit combien de réponses il vous faut.
Planifiez d’abord la taille d’échantillon
La plupart des tests ratés sont trop petits. Avant de commencer, décidez du plus petit changement qui vaut la peine d’agir, et utilisez l’aide au pré-test pour voir combien de visiteurs il faut par variante avec une puissance de 80 %. La puissance est la probabilité que le test détecte un effet de cette taille s’il existe vraiment. Laissez ensuite tourner le test jusqu’à atteindre ce nombre, et sur des semaines entières pour inclure à la fois les jours de semaine et les week-ends.
Quelques autres règles aident :
- Testez un seul changement à la fois, comme le lot, le format de jeu ou le nombre de champs du formulaire, pour savoir ce qui a fait la différence.
- Choisissez l’indicateur avant le test. Le taux d’inscription, le taux de participation complète et le taux d’opt-in peuvent évoluer dans des sens différents.
- Ne jetez pas un œil pour arrêter aussitôt. Arrêter dès que la p-value passe sous 0,05 rend les faux gagnants bien plus fréquents.
Notre guide sur les tests A/B de campagnes gamifiées montre ce qui vaut la peine d’être testé dans une campagne, et la liste des KPI du marketing gamifié vous aide à choisir l’indicateur. Dans Scratcher, les chiffres de chaque campagne se trouvent dans les statistiques. Pour voir ce que vaut en euros un meilleur taux de conversion, utilisez le calculateur de ROI de campagne.
La significativité statistique vous dit si un écart est probablement réel, pas s’il est assez grand pour compter. Regardez aussi l’uplift et l’intervalle de confiance.
Le calculateur de test A/B est-il gratuit ?
Oui. Vous pouvez l’utiliser aussi souvent que vous le voulez, sans compte. Rien de ce que vous saisissez ne nous est envoyé.
Quelle p-value est considérée comme significative ?
Cela dépend du niveau de confiance choisi avant le test. À 95 %, une p-value inférieure à 0,05 est significative. À 90 %, le seuil est 0,10, et à 99 %, il est 0,01. Un niveau plus strict donne moins de faux gagnants mais demande plus de visiteurs.
Faut-il un test unilatéral ou bilatéral ?
Choisissez le test bilatéral, sauf si vous avez décidé à l’avance que seule la question « B est-il meilleur ? » compte et qu’un B moins bon équivaut pour vous à aucune différence. Un test unilatéral devient significatif plus vite, mais il ne peut pas vous dire que B est moins bon.
Mon résultat n’est pas significatif. Que faire ?
Cela veut dire que le test n’a pas montré de différence, pas qu’il n’y en a aucune. Regardez l’aide au pré-test : si vous avez bien moins de visiteurs que nécessaire, laissez le test tourner. Si vous avez atteint la taille prévue, considérez les variantes comme équivalentes et testez un changement plus important.
Pourquoi le calculateur avertit-il en cas de petit échantillon ?
Le test z repose sur une approximation qui ne fonctionne que si chaque variante a assez de conversions et de non-conversions, environ 5 ou plus de chaque. Avec moins de données, la p-value peut être trompeuse : collectez-en davantage avant de décider.
Laissez le prochain tirage se faire tout seul
Organisez votre jeu concours sur votre propre page, collectez e-mails et consentements, et laissez-nous tirer les gagnants. Essai gratuit de 14 jours, sans carte bancaire.