A/B-Tests für Kampagnen: So testest du Gewinne, Formate und Formulare

Ist ein Rubbellos besser als ein Glücksrad? Bringt ein größerer Gewinn mehr Anmeldungen oder nur mehr Schnäppchenjäger? Solltest du nach einer Telefonnummer fragen oder nicht? A/B-Tests für Kampagnen sind der zuverlässigste Weg, das herauszufinden. Statt zu raten, zeigst du zwei Versionen vergleichbaren Gruppen und lässt die Ergebnisse entscheiden.

Dieser Leitfaden erklärt, was du zuerst testen solltest, wie viele Personen du brauchst, wie du Tests für Gewinne, Formate und Formulare aufsetzt und wie du die Ergebnisse auswertest, ohne dich selbst zu täuschen.

A/B-Tests für Kampagnen: die Grundlagen

Ein A/B-Test vergleicht zwei Versionen von etwas, die sich in einem Punkt unterscheiden. Version A ist deine aktuelle Kampagne (die Kontrollversion). Version B ändert eine Sache, zum Beispiel den Gewinn. Alles andere bleibt gleich: Zielgruppe, Zeitpunkt, Kanal und Design.

Drei Regeln machen einen Test lohnenswert:

1. Ändere immer nur eine Sache. Wenn du Gewinn und Format änderst, weißt du nicht, was den Unterschied gemacht hat.
2. Teile die Zielgruppe zufällig auf. Die beiden Gruppen müssen vergleichbar sein. Desktop vs. Mobil oder Montag vs. Freitag ist keine zufällige Aufteilung.
3. Leg die Kennzahl vor dem Start fest. Wähle die eine Zahl, die über den Sieger entscheidet, zum Beispiel die Anmelderate (Anmeldungen ÷ Besuche).

So teilst du den Traffic für eine gamifizierte Kampagne auf

Scratcher hat keine eingebaute A/B-Aufteilung. Du führst den Test also durch, indem du zwei Kopien der Kampagne erstellst und den Traffic in dem Kanal aufteilst, über den die Leute kommen. Das ist ohnehin oft das sauberste Setup:

• Newsletter. Die meisten E-Mail-Tools können einen Versand zufällig aufteilen. Setz den Link zu Kampagne A in die eine Version und den zu Kampagne B in die andere.
• Bezahlte Social-Media- und Suchanzeigen. Erstelle zwei Anzeigen oder Anzeigengruppen mit identischem Targeting und Budget, die jeweils auf ihre eigene Kampagne verlinken. Viele Werbeplattformen haben dafür eine eigene Split-Test-Funktion.
• QR-Codes und Print. Verwende zwei QR-Codes abwechselnd auf Plakaten, Flyern oder Kassenbons in denselben Geschäften.
• Pop-ups auf der Website. Du kannst Pop-ups nach Seite, Domain und Gerät ausspielen. Der sauberste Test läuft daher zwischen vergleichbaren Seiten oder Bereichen. Behandle das Ergebnis etwas vorsichtiger als bei einer zufälligen Aufteilung.

Ist nichts davon möglich, kannst du A und B nacheinander laufen lassen. Das ist die schwächste Option, weil Saison, Wochentage und Kampagnen an anderer Stelle das Ergebnis beeinflussen. Nutze sie daher nur für große Unterschiede.

Was du zuerst testen solltest

Du kannst fast alles testen, aber manche Änderungen sind viel wichtiger als andere. Beginne mit den Entscheidungen, die die meisten Menschen betreffen und am meisten Geld kosten:

1. Der Gewinn. Was man gewinnen kann, ist meist der größte Treiber für die Teilnahme.
2. Das Formular. Die Anzahl der Felder entscheidet, wie viele Spieler zu Anmeldungen werden.
3. Das Format. Ein schnelles Glücksspiel vs. ein Quiz oder ein Geschicklichkeitsspiel.
4. Die Einladung. Die Überschrift, der Button-Text oder die E-Mail-Betreffzeile, die die Leute zum Starten bringt.
5. Timing und Platzierung bei Pop-ups: nach einer Verzögerung, beim Scrollen, bei Exit-Intent oder per Klick.

Farben und kleine Textänderungen kannst du dir für später aufheben. Sie bewegen das Ergebnis selten genug, um es mit kampagnentypischen Zielgruppengrößen messen zu können.

Grundlagen zur Stichprobengröße

Der häufigste Fehler beim Testen ist, einen Sieger zu früh auszurufen. Bei kleinen Zahlen kann zufälliges Rauschen eine Version leicht besser aussehen lassen.

Wie viele Personen du brauchst, hängt von drei Dingen ab:

• Deiner aktuellen Conversion-Rate. Je seltener die Aktion, desto mehr Personen brauchst du.
• Dem kleinsten Unterschied, der für dich zählt. Eine kleine Steigerung nachzuweisen erfordert weit mehr Besucher als eine große.
• Wie sicher du sein willst. Die meisten Tests arbeiten mit 95 % Konfidenz.

Du musst das nicht von Hand ausrechnen. Ein kostenloses Tool wie Evan Millers Stichprobenrechner sagt dir, wie viele Besucher du pro Version brauchst. Gib deine Basis-Conversion-Rate und die kleinste Steigerung ein, auf die du reagieren würdest.

Ist das Ergebnis mehr Traffic, als du bekommen wirst, dann führ keinen unscharfen Test durch. Teste stattdessen eine größere Änderung oder fasse den Test über mehrere Kampagnen zusammen.

Gewinn vs. kein Gewinn testen

Bevor du testest, welcher Gewinn am besten funktioniert, kann es sich lohnen zu testen, ob der Gewinn für deine Zielgruppe überhaupt eine Rolle spielt. Zum Beispiel:

• A: Ein Glücksrad, bei dem jeder einen kleinen Rabattcode gewinnt
• B: Dasselbe Glücksrad mit einer Verlosung eines Hauptgewinns unter allen Teilnehmern und ohne Rabattcode

Schau dir mehr an als nur die Anmeldungen. Ein Gewinn, der viele Leute anzieht, die nur den Gewinn wollen, kann dir eine lange Liste bescheren, die danach kaum reagiert. Verfolge beide Gruppen einige Wochen nach der Kampagne und vergleiche:

• E-Mail-Öffnungs- und Klickraten
• Abmeldungen
• Käufe oder eingelöste Codes

In Scratcher steuerst du die Gewinne im Detail: Sofortgewinne, Verlosungen, eindeutige Rabattcodes und Barcodes, wie viele von jedem gewonnen werden können und wann. So hältst du alles andere zwischen A und B ganz einfach identisch.

Gewinnideen, die sich gegeneinander testen lassen:

• Dein eigenes Produkt vs. eine Geschenkkarte
• Ein großer Gewinn vs. viele kleine
• Ein Rabattcode für alle vs. eine Verlosung für wenige
• Ein Trostpreis vs. kein Trostpreis

Formate testen

Das Format beeinflusst, wie lange sich die Leute mit deiner Marke beschäftigen und was du über sie erfährst. Typische Vergleiche:

• Rubbellos vs. Glücksrad. Beides sind schnelle Glücksspiele. Ein guter erster Test, wenn du mehr Anmeldungen willst.
• Glücksspiel vs. Quiz. Ein Quiz dauert länger, bringt den Leuten aber deine Produkte näher, und die Antworten verraten dir, was ihnen gefällt.
• Einzelnes Spiel vs. Kalender. Ein Kalender bringt die Leute viele Male zurück. Vergleiche die gesamten Anmeldungen und wiederholten Besuche, nicht nur die Zahlen vom ersten Tag.

Wenn du Formate testest, halte Gewinn, Formular und Einladung identisch. Wähle aus über 40 Formaten und nutze für beide Versionen denselben Vorlagenstil, damit das Design das Ergebnis nicht verzerrt.

Formularlänge testen

Jedes zusätzliche Feld kostet dich einige Teilnehmer. Manche Felder wie Telefonnummer oder Geburtstag können den Rückgang aber wert sein. Ein Test zeigt dir, ob das so ist.

Beispieltest:

• A: Name und E-Mail-Adresse
• B: Name, E-Mail-Adresse und Telefonnummer

Miss beides:

• Anmelderate (Anmeldungen ÷ Spieler)
• Wert pro Anmeldung. Wenn du mit einer Telefonnummer per SMS verkaufen kannst, gewinnt B vielleicht beim Wert, auch wenn es bei der Menge verliert.

Halte den Einwilligungstext in beiden Versionen gleich, damit das zusätzliche Feld der einzige Unterschied ist.

Ergebnisse auswerten

Hat der Test die geplante Stichprobengröße erreicht, vergleichst du die beiden Versionen anhand der Kennzahl, die du vorab gewählt hast.

• Prüfe die Signifikanz. Nutze denselben Rechner oder einen Signifikanzrechner, um zu sehen, ob der Unterschied wahrscheinlich echt ist.
• Betrachte den gesamten Funnel. Besuche → Spieler → Anmeldungen → Folgeaktionen. Eine Version kann bei einem Schritt gewinnen und beim nächsten verlieren.
• Achte auf Überraschungen. Hat eine Anzeige mehr Budget bekommen? Ist eine E-Mail häufiger im Spam gelandet? War die Aufteilung nicht fair, ist es das Ergebnis auch nicht.
• Schreib auf, was du gelernt hast, auch wenn es keinen Sieger gibt. „Der Gewinn hat keinen Unterschied gemacht“ ist ein nützliches Ergebnis.

Die Statistiken von Scratcher zeigen Besuche, Spieler, Anmeldungen und Gewinner für jede Kampagne nahezu in Echtzeit, zusammen mit der Herkunft der Besucher. Da A und B separate Kampagnen sind, kannst du sie direkt nebeneinander vergleichen. Du kannst beide auch in Google Analytics oder auf deiner Werbeplattform verfolgen. Die vollständige Liste der Kennzahlen, die sich zu verfolgen lohnen, findest du in unserem Beitrag zu KPIs im Gamification-Marketing.

Vorlage für dein Testprotokoll

Führe ein einfaches Protokoll über jeden Test, damit dein Team mit der Zeit Wissen aufbaut, statt dieselben Tests zu wiederholen. Kopiere diese Struktur in eine Tabelle:

Fang mit einem Test an

Du brauchst kein Testprogramm, um loszulegen. Nimm deine nächste Kampagne, wähle die eine Entscheidung, bei der du dir am wenigsten sicher bist – meist den Gewinn – und teile den Traffic in deinem Newsletter oder deinen Anzeigen auf. Ein guter Test lehrt dich mehr als zehn Vermutungen.

Du willst mehr Ideen, wie du Website-Besucher konvertierst? Lies unseren Leitfaden zu Pop-ups mit hoher Conversion, sieh dir an, wie Spiel-Pop-ups funktionieren, oder teste Scratcher 14 Tage kostenlos und erstelle noch heute Version A und B.