Je praskalka boljša od kolesa sreče? Ali večja nagrada prinese več registracij ali le več lovcev na nagrade? Bi morali zahtevati telefonsko številko ali ne? A/B-testiranje kampanj je najzanesljivejši način, da to ugotovite. Namesto ugibanja pokažete dve različici primerljivima skupinama ljudi in pustite, da odločijo rezultati.
Ta vodnik pojasnjuje, kaj testirati najprej, koliko ljudi potrebujete, kako postaviti teste nagrad, formatov in obrazcev ter kako brati rezultate, ne da bi se slepili.
A/B-testiranje kampanj: osnove
A/B-test primerja dve različici nečesa, ki se razlikujeta v eni stvari. Različica A je vaša trenutna kampanja (kontrolna). Različica B spremeni eno stvar, na primer nagrado. Vse drugo ostane enako: občinstvo, čas, kanal in oblikovanje.
Tri pravila poskrbijo, da je test vreden izvedbe:
- Hkrati spremenite le eno stvar. Če spremenite nagrado in format, ne boste vedeli, kaj je naredilo razliko.
- Občinstvo razdelite naključno. Skupini morata biti primerljivi. Namizni računalnik proti mobilnemu ali ponedeljek proti petku ni naključna delitev.
- Metriko določite, preden začnete. Izberite eno številko, ki odloči zmagovalca, na primer stopnjo registracij (registracije ÷ obiski).
Kako razdeliti promet pri igrificirani kampanji
Scratcher nima vgrajene A/B-delitve, zato test izvedete tako, da naredite dve kopiji kampanje in promet razdelite v kanalu, ki ljudi pripelje tja. To je pogosto tako ali tako najčistejša postavitev:
- E-novice. Večina orodij za e-pošto lahko pošiljko naključno razdeli. V eno različico vstavite povezavo do kampanje A, v drugo do kampanje B.
- Plačani družbeni mediji in iskanje. Ustvarite dva oglasa ali nabora oglasov z enakim ciljanjem in proračunom, vsakega s povezavo do svoje kampanje. Številne oglaševalske platforme imajo za to lastno funkcijo deljenega testiranja.
- QR-kode in tisk. Uporabite dve QR-kodi na izmeničnih plakatih, letakih ali računih v istih trgovinah.
- Pojavna okna na spletni strani. Pojavna okna lahko ciljate po strani, domeni in napravi, zato je najčistejši test med primerljivimi stranmi ali razdelki. Rezultat obravnavajte nekoliko bolj previdno kot pri naključni delitvi.
Če nič od tega ni mogoče, lahko A in B izvedete v zaporednih obdobjih. To je najšibkejša možnost, saj na rezultat vplivajo sezone, dnevi v tednu in kampanje drugod, zato jo uporabite le pri velikih razlikah.
Kaj testirati najprej
Testirate lahko skoraj vse, vendar so nekatere spremembe veliko pomembnejše od drugih. Začnite z odločitvami, ki vplivajo na največ ljudi in stanejo največ denarja:
- Nagrada. Kaj lahko ljudje osvojijo, je običajno največje gonilo sodelovanja.
- Obrazec. Število polj odloča, koliko igralcev se registrira.
- Format. Hitra igra na srečo proti kvizu ali igri spretnosti.
- Povabilo. Naslov, besedilo gumba ali zadeva e-pošte, ki ljudi spodbudi, da začnejo.
- Čas in umestitev pojavnih oken: po zamiku, ob drsenju, ob nameri izhoda ali ob kliku.
Barve in manjše spremembe besedila pustite za pozneje. Redko dovolj premaknejo rezultat, da bi ga lahko izmerili z občinstvi velikosti ene kampanje.
Osnove velikosti vzorca
Najpogostejša napaka pri testiranju je prezgodnja razglasitev zmagovalca. Pri majhnih številkah lahko naključni šum zlahka ustvari vtis, da je ena različica boljša.
Koliko ljudi potrebujete, je odvisno od treh stvari:
- Vaše trenutne stopnje konverzije. Redkejše kot je dejanje, več ljudi potrebujete.
- Najmanjše razlike, ki vam je pomembna. Za zaznavo majhnega izboljšanja potrebujete veliko več obiskovalcev kot za zaznavo velikega.
- Kako prepričani želite biti. Večina testov uporablja 95-odstotno zanesljivost.
Izračunov vam ni treba delati ročno. Brezplačno orodje, kot je kalkulator velikosti vzorca Evana Millerja, vam pove, koliko obiskovalcev potrebujete na različico. Vnesite izhodiščno stopnjo konverzije in najmanjše izboljšanje, na podlagi katerega bi ukrepali.
Če je odgovor več prometa, kot ga boste dobili, ne izvajajte nejasnega testa. Raje testirajte večjo spremembo ali združite test v več kampanjah.
Brezplačni kalkulator A/B-testov izračuna potrebno velikost vzorca in vam po koncu testa pove, ali je razlika resnična.
Testiranje nagrade proti brez nagrade
Preden testirate, katera nagrada deluje najbolje, je morda vredno preveriti, ali je nagrada za vaše občinstvo sploh pomembna. Na primer:
- A: Kolo sreče, kjer vsi osvojijo manjšo kodo za popust
- B: Enako kolo z žrebanjem glavne nagrade med vsemi udeleženci in brez kode za popust
Ne glejte le registracij. Nagrada, ki privabi veliko ljudi, ki želijo samo nagrado, vam lahko prinese dolg seznam z nizko angažiranostjo pozneje. Obe skupini spremljajte nekaj tednov po kampanji in primerjajte:
- Stopnje odpiranja in klikov e-pošte
- Odjave
- Nakupe ali unovčene kode
V Scratcherju nagrade podrobno nadzorujete: takojšnje nagrade, žrebanja, unikatne kode za popust in črtne kode ter koliko posameznih nagrad je mogoče osvojiti in kdaj. Tako je med A in B preprosto ohraniti vse drugo enako.
Ideje za nagrade, ki jih je vredno testirati med seboj:
- Vaš lastni izdelek proti darilnemu bonu
- Ena velika nagrada proti številnim manjšim
- Koda za popust za vse proti žrebanju za nekaj srečnežev
- Tolažilna nagrada proti brez tolažilne nagrade
Testiranje formata
Format vpliva na to, koliko časa ljudje preživijo z vašo blagovno znamko in kaj izveste o njih. Tipične primerjave:
- Praskalka proti kolesu sreče. Obe sta hitri igri na srečo. Dober prvi test, če želite več registracij.
- Igra na srečo proti kvizu. Kviz traja dlje, a ljudi pouči o vaših izdelkih, odgovori pa vam povedo, kaj jim je všeč.
- Posamezna igra proti koledarju. Koledar ljudi pripelje nazaj večkrat. Primerjajte skupne registracije in ponovne obiske, ne le številk prvega dne.
Ko testirate formate, ohranite nagrado, obrazec in povabilo enake. Izbirajte med več kot 40 formati in za obe različici uporabite enak slog predloge, da oblikovanje ne izkrivi rezultata.
Testiranje dolžine obrazca
Vsako dodatno polje vas stane nekaj udeležencev. Toda nekatera polja, kot sta telefonska številka ali rojstni dan, so lahko vredna tega upada. Test vam pove, ali so.
Primer testa:
- A: Ime in e-pošta
- B: Ime, e-pošta in telefonska številka
Izmerite oboje:
- Stopnjo registracij (registracije ÷ igralci)
- Vrednost na registracijo. Če vam telefonska številka omogoča prodajo prek SMS-ov, lahko B zmaga po vrednosti, tudi če izgubi po količini.
Besedilo privolitve naj bo v obeh različicah enako, tako da je edina razlika dodatno polje.
Branje rezultatov
Ko test doseže načrtovano velikost vzorca, primerjajte različici po metriki, ki ste jo izbrali vnaprej.
- Preverite statistično značilnost. Z istim kalkulatorjem ali kalkulatorjem značilnosti preverite, ali je razlika verjetno resnična.
- Poglejte celoten lijak. Obiski → igralci → registracije → nadaljnja dejanja. Različica lahko zmaga v enem koraku in izgubi v naslednjem.
- Preverite presenečenja. Je en oglas dobil večji proračun? Je ena e-pošta pristala v več mapah z neželeno pošto? Če delitev ni bila poštena, tudi rezultat ni.
- Zapišite, kaj ste se naučili, tudi kadar zmagovalca ni. »Nagrada ni naredila razlike« je uporaben rezultat.
Statistika v Scratcherju za vsako kampanjo skoraj v realnem času prikazuje obiske, igralce, registracije in zmagovalce ter od kod so ljudje prišli. Ker sta A in B ločeni kampanji, ju lahko primerjate drugo ob drugi. Obe lahko spremljate tudi v Google Analytics ali v svoji oglaševalski platformi. Celoten seznam metrik, ki jih je vredno spremljati, najdete v našem prispevku o KPI-jih igrificiranega marketinga.
Predloga dnevnika testov
Vodite preprost dnevnik vseh testov, da ekipa sčasoma gradi znanje, namesto da ponavlja iste teste. To strukturo kopirajte v preglednico:
| Polje | Primer |
|---|---|
| Ime testa | Nagrada: koda za popust proti žrebanju glavne nagrade |
| Hipoteza | Koda za popust za vse prinese več registracij kot žrebanje glavne nagrade |
| Različica A | Kolo sreče, 10-% koda za vse |
| Različica B | Kolo sreče, žrebanje enega darilnega bona za 500 € |
| Primarna metrika | Stopnja registracij (registracije ÷ obiski) |
| Sekundarne metrike | Unovčene kode, kliki v e-pošti po 30 dneh |
| Delitev prometa | E-novice, naključna delitev 50/50 |
| Potrebna velikost vzorca | Iz kalkulatorja |
| Datum začetka in konca | [datumi] |
| Rezultat | [A / B / ni jasne razlike] |
| Kaj bomo naredili naprej | [odločitev] |
Začnite z enim testom
Za začetek ne potrebujete programa testiranja. Izberite naslednjo kampanjo, izberite odločitev, v katero ste najmanj prepričani – običajno je to nagrada – in razdelite promet v e-novicah ali oglasih. En dober test vas nauči več kot deset ugibanj.
Želite več idej za konverzijo obiskovalcev spletne strani? Preberite naš vodnik po pojavnih oknih z visoko konverzijo, oglejte si, kako delujejo pojavna okna z igrami, ali preizkusite Scratcher brezplačno 14 dni in še danes ustvarite različici A in B.
