A/B testování kampaní: jak testovat výhry, formáty a formuláře

Je stírací los lepší než kolo štěstí? Přinese větší výhra více registrací, nebo jen více lovců výher? Máte se ptát na telefonní číslo, nebo ne? A/B testování kampaní je nejspolehlivější způsob, jak to zjistit. Místo hádání ukážete dvě verze srovnatelným skupinám lidí a necháte rozhodnout výsledky.

Tento průvodce vysvětluje, co testovat nejdřív, kolik lidí potřebujete, jak nastavit testy výher, formátů a formulářů a jak číst výsledky, aniž byste klamali sami sebe.

A/B testování kampaní: základy

A/B test porovnává dvě verze něčeho, které se liší v jedné věci. Verze A je vaše současná kampaň (kontrolní verze). Verze B mění jednu věc, například výhru. Vše ostatní zůstává stejné: publikum, načasování, kanál i design.

Aby test stál za to, musí splňovat tři pravidla:

1. Měňte vždy jen jednu věc. Pokud změníte výhru i formát, nebudete vědět, co rozhodlo.
2. Rozdělte publikum náhodně. Obě skupiny musí být srovnatelné. Desktop vs. mobil nebo pondělí vs. pátek není náhodné rozdělení.
3. Určete metriku předem. Vyberte jedno číslo, které rozhodne o vítězi, například míru registrací (registrace ÷ návštěvy).

Jak rozdělit provoz u gamifikované kampaně

Scratcher nemá vestavěné A/B rozdělení, takže test provedete tak, že vytvoříte dvě kopie kampaně a rozdělíte provoz v kanálu, který na ni lidi posílá. To je často stejně nejčistší nastavení:

• Newsletter. Většina e-mailových nástrojů umí rozeslání náhodně rozdělit. Do jedné verze vložte odkaz na kampaň A a do druhé na kampaň B.
• Placené sociální sítě a vyhledávání. Vytvořte dvě reklamy nebo sady reklam se stejným cílením a rozpočtem, každou s odkazem na vlastní kampaň. Mnoho reklamních platforem na to má vlastní funkci split testu.
• QR kódy a tisk. Použijte dva QR kódy na střídajících se plakátech, letácích nebo účtenkách ve stejných prodejnách.
• Pop-up okna na webu. Pop-up okna můžete cílit podle stránky, domény a zařízení, takže nejčistší test je mezi srovnatelnými stránkami nebo sekcemi. K výsledku přistupujte o něco opatrněji než u náhodného rozdělení.

Pokud nic z toho není možné, můžete spustit A a B v po sobě jdoucích obdobích. Je to nejslabší varianta, protože výsledek ovlivňují sezóny, dny v týdnu i kampaně jinde, takže ji používejte jen pro velké rozdíly.

Co testovat nejdřív

Testovat můžete téměř cokoli, ale některé změny mají mnohem větší význam než jiné. Začněte rozhodnutími, která se týkají nejvíce lidí a stojí nejvíc peněz:

1. Výhra. To, co mohou lidé vyhrát, obvykle nejvíce ovlivňuje účast.
2. Formulář. Počet polí rozhoduje, kolik hráčů se zaregistruje.
3. Formát. Rychlá hra založená na štěstí vs. kvíz nebo dovednostní hra.
4. Pozvánka. Nadpis, text tlačítka nebo předmět e-mailu, který lidi přiměje začít.
5. Načasování a umístění u pop-up oken: po prodlevě, při posouvání, při exit intentu nebo po kliknutí.

Barvy a drobné úpravy textů si nechte na později. Výsledek zřídka posunou natolik, aby se to dalo změřit na publiku velikosti běžné kampaně.

Základy velikosti vzorku

Nejčastější chybou při testování je vyhlásit vítěze příliš brzy. U malých čísel může náhodný šum snadno způsobit, že jedna verze vypadá lépe.

Kolik lidí potřebujete, závisí na třech věcech:

• Váš současný konverzní poměr. Čím vzácnější akce, tím více lidí potřebujete.
• Nejmenší rozdíl, na kterém vám záleží. Odhalit malé zlepšení vyžaduje mnohem více návštěvníků než odhalit velké.
• Jak moc si chcete být jisti. Většina testů pracuje s 95% spolehlivostí.

Počítat ručně nemusíte. Bezplatný nástroj, jako je kalkulačka velikosti vzorku Evana Millera, vám řekne, kolik návštěvníků potřebujete na verzi. Zadejte svůj výchozí konverzní poměr a nejmenší zlepšení, podle kterého byste jednali.

Pokud vyjde víc provozu, než budete mít, nespouštějte nejasný test. Otestujte raději větší změnu, nebo test spojte napříč několika kampaněmi.

Testování výhry vs. žádné výhry

Než začnete testovat, která výhra funguje nejlépe, může se vyplatit otestovat, zda na výhře u vašeho publika vůbec záleží. Například:

• A: Kolo štěstí, na kterém každý vyhraje malý slevový kód
• B: Stejné kolo se slosováním o hlavní výhru pro všechny účastníky a bez slevového kódu

Nedívejte se jen na registrace. Výhra, která přiláká hodně lidí, kteří chtějí jen výhru, vám může dát dlouhý seznam s nízkým zapojením. Sledujte obě skupiny ještě několik týdnů po kampani a porovnejte:

• Míru otevření a prokliku e-mailů
• Odhlášení
• Nákupy nebo uplatnění kódů

Ve Scratcheru máte výhry detailně pod kontrolou: okamžité výhry, slosování, unikátní slevové kódy a čárové kódy, kolik od každé lze vyhrát a kdy. Díky tomu snadno udržíte vše ostatní mezi A a B totožné.

Nápady na výhry, které stojí za to otestovat proti sobě:

• Váš vlastní produkt vs. dárková karta
• Jedna velká výhra vs. mnoho malých
• Slevový kód pro všechny vs. slosování pro několik málo
• Útěšná cena vs. žádná útěšná cena

Testování formátu

Formát ovlivňuje, jak dlouho lidé tráví čas s vaší značkou a co se o nich dozvíte. Typická srovnání:

• Stírací los vs. kolo štěstí. Obojí jsou rychlé hry založené na štěstí. Dobrý první test, pokud chcete více registrací.
• Hra založená na štěstí vs. kvíz. Kvíz trvá déle, ale naučí lidi něco o vašich produktech a z odpovědí poznáte, co mají rádi.
• Jedna hra vs. kalendář. Kalendář přivádí lidi zpět mnohokrát. Porovnávejte celkové registrace a opakované návštěvy, nejen čísla z prvního dne.

Při testování formátů ponechte výhru, formulář i pozvánku totožné. Vybírejte ze 40+ formátů a pro obě verze použijte stejný styl šablony, aby design nezkreslil výsledek.

Testování délky formuláře

Každé přidané pole vás stojí část účastníků. Některá pole, například telefonní číslo nebo datum narození, ale mohou za ten pokles stát. Test vám řekne, zda ano.

Příklad testu:

• A: Jméno a e-mail
• B: Jméno, e-mail a telefonní číslo

Měřte obojí:

• Míra registrací (registrace ÷ hráči)
• Hodnota jedné registrace. Pokud vám telefonní číslo umožní prodávat přes SMS, může B vyhrát na hodnotě, i když prohraje na objemu.

Text souhlasu ponechte v obou verzích stejný, aby jediným rozdílem bylo pole navíc.

Čtení výsledků

Jakmile test dosáhne plánované velikosti vzorku, porovnejte obě verze podle metriky, kterou jste si zvolili předem.

• Ověřte statistickou významnost. Pomocí stejné kalkulačky nebo kalkulačky významnosti zjistěte, zda je rozdíl pravděpodobně skutečný.
• Podívejte se na celý funnel. Návštěvy → hráči → registrace → navazující akce. Verze může v jednom kroku vyhrát a v dalším prohrát.
• Hledejte překvapení. Dostala jedna reklama větší rozpočet? Skončil jeden e-mail častěji ve spamu? Pokud rozdělení nebylo férové, není férový ani výsledek.
• Zapište si, co jste se naučili, i když žádný vítěz není. „Výhra nehrála roli“ je užitečný výsledek.

Statistiky ve Scratcheru ukazují návštěvy, hráče, registrace a výherce každé kampaně téměř v reálném čase a také odkud lidé přišli. Protože A a B jsou samostatné kampaně, můžete je porovnat vedle sebe. Obě můžete sledovat také v Google Analytics nebo ve své reklamní platformě. Úplný seznam metrik, které stojí za sledování, najdete v našem článku o KPI gamifikačního marketingu.

Šablona protokolu testů

Veďte si jednoduchý protokol všech testů, aby tým postupně budoval znalosti a neopakoval stále stejné testy. Zkopírujte si tuto strukturu do tabulky:

Začněte jedním testem

Abyste mohli začít, nepotřebujete testovací program. Vezměte svou příští kampaň, vyberte jedno rozhodnutí, kterým si jste nejméně jisti, obvykle výhru, a rozdělte provoz v newsletteru nebo v reklamách. Jeden dobrý test vás naučí víc než deset odhadů.

Chcete další nápady, jak konvertovat návštěvníky webu? Přečtěte si našeho průvodce pop-up okny s vysokou konverzí, podívejte se, jak fungují herní pop-up okna, nebo vyzkoušejte Scratcher 14 dní zdarma a vytvořte verzi A i B ještě dnes.