Ce que signifie la significativité statistique dans un test A/B
Dans un test A/B, vous montrez deux versions de quelque chose à deux groupes de personnes tirés au hasard et vous comparez combien convertissent. La variante B n’obtient presque jamais exactement le même taux que la variante A, même quand le changement ne fait aucune différence. La question est de savoir si l’écart est plus grand que ce que le seul hasard expliquerait.
La p-value répond à cette question. C’est la probabilité d’observer un écart au moins aussi grand si les deux variantes avaient en réalité les mêmes performances. Une p-value de 0,036 signifie qu’un écart comme le vôtre apparaîtrait par hasard dans environ 3,6 % des tests sans vraie différence. Si la p-value est inférieure à votre seuil (0,05 pour un niveau de confiance de 95 %), le résultat est dit statistiquement significatif.
Comment fonctionne le calculateur
Le calculateur utilise un test z à deux proportions. Il regroupe les conversions des deux variantes pour estimer le taux attendu s’il n’y avait aucune différence, en déduit l’erreur type, puis divise l’écart entre les deux taux par cette erreur type. Le résultat est le score z : le nombre d’erreurs types qui séparent les deux taux. La p-value est tirée de la loi normale.
Un exemple : la variante A obtient 100 conversions sur 1 000 visiteurs (10 %) et la variante B 130 sur 1 000 (13 %). Cela donne un uplift relatif de 30 %, un score z d’environ 2,10 et une p-value bilatérale d’environ 0,036. B est significativement meilleur à 95 %, mais pas à 99 %.
L’intervalle de confiance montre la plage dans laquelle se situe probablement la vraie différence. Dans l’exemple, il va d’environ +0,2 à +5,8 points de pourcentage. Un intervalle large indique que le test n’est pas encore précis, même s’il est significatif.
Vous menez une enquête plutôt qu’un test ? L’outil de calcul de la taille d’échantillon pour une enquête vous dit combien de réponses il vous faut.
Planifiez d’abord la taille d’échantillon
La plupart des tests ratés sont trop petits. Avant de commencer, décidez du plus petit changement qui vaut la peine d’agir, et utilisez l’aide au pré-test pour voir combien de visiteurs il faut par variante avec une puissance de 80 %. La puissance est la probabilité que le test détecte un effet de cette taille s’il existe vraiment. Laissez ensuite tourner le test jusqu’à atteindre ce nombre, et sur des semaines entières pour inclure à la fois les jours de semaine et les week-ends.
Quelques autres règles aident :
- Testez un seul changement à la fois, comme le lot, le format de jeu ou le nombre de champs du formulaire, pour savoir ce qui a fait la différence.
- Choisissez l’indicateur avant le test. Le taux d’inscription, le taux de participation complète et le taux d’opt-in peuvent évoluer dans des sens différents.
- Ne jetez pas un œil pour arrêter aussitôt. Arrêter dès que la p-value passe sous 0,05 rend les faux gagnants bien plus fréquents.
Notre guide sur les tests A/B de campagnes gamifiées montre ce qui vaut la peine d’être testé dans une campagne, et la liste des KPI du marketing gamifié vous aide à choisir l’indicateur. Dans Scratcher, les chiffres de chaque campagne se trouvent dans les statistiques. Pour voir ce que vaut en euros un meilleur taux de conversion, utilisez le calculateur de ROI de campagne.
La significativité statistique vous dit si un écart est probablement réel, pas s’il est assez grand pour compter. Regardez aussi l’uplift et l’intervalle de confiance.
