Testy A/B kampanii: jak testować nagrody, formaty i formularze

Czy zdrapka jest lepsza od koła fortuny? Czy większa nagroda przynosi więcej zapisów, czy tylko więcej łowców nagród? Czy prosić o numer telefonu, czy nie? Testy A/B kampanii to najpewniejszy sposób, by to sprawdzić. Zamiast zgadywać, pokazujesz dwie wersje porównywalnym grupom ludzi i pozwalasz, by wyniki zdecydowały.

Ten poradnik wyjaśnia, co testować w pierwszej kolejności, ilu ludzi potrzebujesz, jak przygotować testy nagród, formatów i formularzy oraz jak odczytać wyniki, nie dając się zwieść.

Testy A/B kampanii: podstawy

Test A/B porównuje dwie wersje czegoś, które różnią się jednym elementem. Wersja A to twoja obecna kampania (kontrolna). Wersja B zmienia jedną rzecz, na przykład nagrodę. Wszystko inne pozostaje takie samo: odbiorcy, czas, kanał i projekt.

Trzy zasady sprawiają, że test warto przeprowadzić:

1. Zmieniaj jedną rzecz naraz. Jeśli zmienisz nagrodę i format, nie dowiesz się, co zrobiło różnicę.
2. Dziel odbiorców losowo. Obie grupy muszą być porównywalne. Komputer kontra telefon albo poniedziałek kontra piątek to nie jest losowy podział.
3. Ustal wskaźnik przed startem. Wybierz jedną liczbę, która rozstrzyga o zwycięzcy, na przykład współczynnik zapisów (zapisy ÷ odwiedziny).

Jak podzielić ruch w kampanii z grywalizacją

Scratcher nie ma wbudowanego podziału A/B, więc test przeprowadzasz, tworząc dwie kopie kampanii i dzieląc ruch w kanale, który kieruje do niej ludzi. To często i tak najczystsza konfiguracja:

• Newsletter. Większość narzędzi e-mailowych potrafi losowo podzielić wysyłkę. Umieść link do kampanii A w jednej wersji, a do kampanii B w drugiej.
• Płatne media społecznościowe i wyszukiwarka. Utwórz dwie reklamy lub zestawy reklam z takim samym targetowaniem i budżetem, każdą z linkiem do własnej kampanii. Wiele platform reklamowych ma do tego własną funkcję testów podziałowych.
• Kody QR i druk. Użyj dwóch kodów QR na naprzemiennych plakatach, ulotkach lub paragonach w tych samych sklepach.
• Pop-upy na stronie. Pop-upy możesz kierować według strony, domeny i urządzenia, więc najczystszy test to porównanie podobnych stron lub sekcji. Wynik traktuj z nieco większą ostrożnością niż w przypadku losowego podziału.

Jeśli żadna z tych opcji nie jest możliwa, możesz uruchomić A i B w kolejnych okresach. To najsłabsza opcja, bo na wynik wpływają pory roku, dni tygodnia i kampanie prowadzone gdzie indziej, więc używaj jej tylko do dużych różnic.

Co testować w pierwszej kolejności

Możesz testować prawie wszystko, ale niektóre zmiany mają znacznie większe znaczenie niż inne. Zacznij od decyzji, które dotyczą największej liczby osób i kosztują najwięcej:

1. Nagroda. To, co ludzie mogą wygrać, zwykle jest największym czynnikiem napędzającym udział.
2. Formularz. Liczba pól decyduje o tym, ilu graczy zamienia się w zapisy.
3. Format. Szybka gra losowa kontra quiz lub gra zręcznościowa.
4. Zaproszenie. Nagłówek, tekst przycisku lub temat e-maila, który skłania ludzi do rozpoczęcia.
5. Czas i umiejscowienie w pop-upach: po opóźnieniu, przy przewijaniu, przy exit intent lub po kliknięciu.

Kolory i drobne zmiany w tekstach zostaw na później. Rzadko zmieniają wynik na tyle, by dało się to zmierzyć przy odbiorcach wielkości typowej kampanii.

Podstawy wielkości próby

Najczęstszy błąd w testowaniu to ogłaszanie zwycięzcy zbyt wcześnie. Przy małych liczbach losowy szum łatwo sprawia, że jedna wersja wygląda lepiej.

To, ilu ludzi potrzebujesz, zależy od trzech rzeczy:

• Twojego obecnego współczynnika konwersji. Im rzadsze działanie, tym więcej ludzi potrzebujesz.
• Najmniejszej różnicy, na której ci zależy. Wykrycie małego wzrostu wymaga znacznie więcej odwiedzających niż wykrycie dużego.
• Tego, jak pewny chcesz być. Większość testów przyjmuje 95% poziom ufności.

Nie musisz liczyć tego ręcznie. Darmowe narzędzie, takie jak kalkulator wielkości próby Evana Millera, podaje, ilu odwiedzających potrzebujesz na wersję. Wpisz swój bazowy współczynnik konwersji i najmniejszy wzrost, na który zareagujesz.

Jeśli wynik to więcej ruchu, niż uzyskasz, nie przeprowadzaj niejasnego testu. Przetestuj większą zmianę albo połącz test z kilkoma kampaniami.

Testowanie nagrody a brak nagrody

Zanim sprawdzisz, która nagroda działa najlepiej, warto przetestować, czy nagroda w ogóle ma znaczenie dla twoich odbiorców. Na przykład:

• A: koło, w którym każdy wygrywa mały kod rabatowy
• B: to samo koło z losowaniem nagrody głównej dla wszystkich uczestników i bez kodu rabatowego

Patrz na więcej niż zapisy. Nagroda, która przyciąga wielu ludzi chcących tylko nagrody, może dać ci długą listę o niskim późniejszym zaangażowaniu. Obserwuj obie grupy przez kilka tygodni po kampanii i porównaj:

• Współczynniki otwarć i kliknięć e-maili
• Rezygnacje z subskrypcji
• Zakupy lub wykorzystanie kodów

W Scratcherze szczegółowo kontrolujesz nagrody: natychmiastowe wygrane, losowania, unikalne kody rabatowe i kody kreskowe, ile sztuk każdej można wygrać i kiedy. Dzięki temu łatwo utrzymać wszystko inne identyczne w wersjach A i B.

Pomysły na nagrody warte przetestowania względem siebie:

• Twój własny produkt kontra karta podarunkowa
• Jedna duża nagroda kontra wiele małych
• Kod rabatowy dla każdego kontra losowanie dla kilku osób
• Nagroda pocieszenia kontra brak nagrody pocieszenia

Testowanie formatu

Format wpływa na to, jak długo ludzie spędzają czas z twoją marką i czego się od nich dowiadujesz. Typowe porównania:

• Zdrapka kontra koło fortuny. Obie to szybkie gry losowe. Dobry pierwszy test, jeśli chcesz więcej zapisów.
• Gra losowa kontra quiz. Quiz trwa dłużej, ale uczy ludzi o twoich produktach, a odpowiedzi mówią ci, co lubią.
• Pojedyncza gra kontra kalendarz. Kalendarz sprowadza ludzi z powrotem wiele razy. Porównuj łączną liczbę zapisów i powtórne wizyty, a nie tylko liczby z pierwszego dnia.

Testując formaty, zachowaj identyczną nagrodę, formularz i zaproszenie. Wybieraj spośród ponad 40 formatów i użyj tego samego stylu szablonu w obu wersjach, aby projekt nie zniekształcał wyniku.

Testowanie długości formularza

Każde dodane pole kosztuje cię część uczestników. Ale niektóre pola, jak numer telefonu czy data urodzin, mogą być warte tego spadku. Test pokazuje, czy tak jest.

Przykładowy test:

• A: imię i e-mail
• B: imię, e-mail i numer telefonu

Mierz oba wskaźniki:

• Współczynnik zapisów (zapisy ÷ gracze)
• Wartość jednego zapisu. Jeśli numer telefonu pozwala sprzedawać przez SMS, B może wygrać pod względem wartości, nawet jeśli przegra pod względem liczby.

Zachowaj taką samą treść zgody w obu wersjach, aby jedyną różnicą było dodatkowe pole.

Odczytywanie wyników

Gdy test osiągnie zaplanowaną wielkość próby, porównaj obie wersje według wskaźnika wybranego na początku.

• Sprawdź istotność. Użyj tego samego kalkulatora lub kalkulatora istotności, by zobaczyć, czy różnica jest prawdopodobnie rzeczywista.
• Spójrz na cały lejek. Odwiedziny → gracze → zapisy → działania następcze. Wersja może wygrać na jednym etapie i przegrać na następnym.
• Szukaj niespodzianek. Czy jedna reklama dostała większy budżet? Czy jeden e-mail trafił do większej liczby folderów ze spamem? Jeśli podział nie był sprawiedliwy, wynik też nie jest.
• Zapisz wnioski, nawet gdy nie ma zwycięzcy. „Nagroda nie zrobiła różnicy” to użyteczny wynik.

Statystyki Scratchera pokazują odwiedziny, graczy, zapisy i zwycięzców dla każdej kampanii niemal w czasie rzeczywistym, wraz z informacją, skąd przyszli ludzie. Ponieważ A i B to osobne kampanie, możesz porównać je obok siebie. Możesz też śledzić obie w Google Analytics lub w swojej platformie reklamowej. Pełną listę wskaźników wartych śledzenia znajdziesz w naszym wpisie o KPI marketingu z grywalizacją.

Szablon dziennika testów

Prowadź prosty dziennik każdego testu, aby zespół z czasem budował wiedzę, zamiast powtarzać te same testy. Skopiuj tę strukturę do arkusza kalkulacyjnego:

Zacznij od jednego testu

Nie potrzebujesz programu testowania, by zacząć. Wybierz swoją następną kampanię, wybierz jedną decyzję, co do której masz najmniej pewności, zwykle nagrodę, i podziel ruch w newsletterze lub reklamach. Jeden dobry test uczy cię więcej niż dziesięć domysłów.

Chcesz więcej pomysłów na konwertowanie odwiedzających stronę? Przeczytaj nasz poradnik o pop-upach o wysokiej konwersji, zobacz, jak działają pop-upy z grą, lub wypróbuj Scratcher za darmo przez 14 dni i zbuduj wersje A i B już dziś.