Was statistische Signifikanz in einem A/B-Test bedeutet
In einem A/B-Test zeigst du zwei Versionen von etwas zwei zufälligen Gruppen und vergleichst, wie viele konvertieren. Variante B erreicht fast nie genau dieselbe Rate wie Variante A, auch wenn die Änderung gar nichts bewirkt. Die Frage ist, ob der Abstand größer ist, als du allein durch Zufall erwarten würdest.
Der p-Wert beantwortet das. Er ist die Wahrscheinlichkeit, einen mindestens so großen Unterschied zu sehen, wenn beide Varianten in Wirklichkeit gleich gut wären. Ein p-Wert von 0,036 heißt: Ein Abstand wie deiner würde in etwa 3,6 % der Tests ohne echten Unterschied zufällig auftreten. Liegt der p-Wert unter deiner Schwelle (0,05 bei einem Konfidenzniveau von 95 %), nennt man das Ergebnis statistisch signifikant.
So funktioniert der Rechner
Der Rechner nutzt einen z-Test für zwei Anteile. Er fasst die Conversions beider Varianten zusammen, um die Rate zu schätzen, die du ohne Unterschied erwarten würdest, berechnet daraus den Standardfehler und teilt den Unterschied der beiden Raten durch ihn. Das Ergebnis ist der z-Wert: wie viele Standardfehler die beiden Raten auseinanderliegen. Der p-Wert kommt aus der Normalverteilung.
Ein Beispiel: Variante A erzielt 100 Conversions bei 1.000 Besuchern (10 %), Variante B 130 bei 1.000 (13 %). Das ist ein relativer Uplift von 30 %, ein z-Wert von etwa 2,10 und ein zweiseitiger p-Wert von etwa 0,036. B ist bei 95 % signifikant besser, bei 99 % aber nicht.
Das Konfidenzintervall zeigt den Bereich, in dem der wahre Unterschied wahrscheinlich liegt. Im Beispiel reicht es von etwa +0,2 bis +5,8 Prozentpunkten. Ein breites Intervall zeigt, dass der Test noch ungenau ist, auch wenn er signifikant ist.
Du machst eine Umfrage statt eines Tests? Mit unserem Tool kannst du die Stichprobengröße berechnen und siehst, wie viele Antworten du brauchst.
Plane zuerst die Stichprobengröße
Die meisten gescheiterten Tests sind zu klein. Lege vor dem Start fest, welche Veränderung mindestens nötig ist, damit du handelst, und sieh mit der Testplanung nach, wie viele Besucher jede Variante bei 80 % Power braucht. Power ist die Wahrscheinlichkeit, dass der Test einen Effekt dieser Größe erkennt, wenn es ihn wirklich gibt. Lass den Test dann laufen, bis du diese Zahl erreichst, und zwar über ganze Wochen, damit Werktage und Wochenenden dabei sind.
Ein paar weitere Regeln helfen:
- Teste immer nur eine Änderung, zum Beispiel den Preis, das Spielformat oder die Zahl der Formularfelder, damit du weißt, was den Unterschied gemacht hat.
- Wähle die Kennzahl vor dem Test. Anmelderate, Abschlussrate und Opt-in-Rate können sich in verschiedene Richtungen bewegen.
- Nicht spicken und abbrechen. Wer abbricht, sobald der p-Wert unter 0,05 fällt, bekommt viel öfter falsche Gewinner.
Unser Leitfaden zum A/B-Testing von Gamification-Kampagnen zeigt, was sich in einer Kampagne zu testen lohnt, und die Liste der Gamification-Marketing-KPIs hilft dir bei der Wahl der Kennzahl. In Scratcher findest du die Zahlen jeder Kampagne unter Analytics. Was eine bessere Conversion-Rate in Euro wert ist, zeigt dir der ROI-Rechner für Kampagnen.
Statistische Signifikanz sagt dir, ob ein Unterschied wahrscheinlich echt ist, nicht ob er groß genug ist, um wichtig zu sein. Schau dir auch den Uplift und das Konfidenzintervall an.
