Ar nutrinamoji kortelė geresnė už ratą? Ar didesnis prizas atneša daugiau registracijų, ar tik daugiau prizų medžiotojų? Prašyti telefono numerio ar ne? A/B testavimas – patikimiausias būdas tai sužinoti. Užuot spėlioję, parodote dvi versijas panašioms žmonių grupėms ir leidžiate spręsti rezultatams.
Šiame vadove paaiškinama, ką testuoti pirmiausia, kiek žmonių reikia, kaip parengti prizų, formatų ir formų testus ir kaip vertinti rezultatus neapgaudinėjant savęs.
A/B testavimas kampanijose: pagrindai
A/B testas lygina dvi kažko versijas, kurios skiriasi vienu aspektu. A versija – jūsų dabartinė kampanija (kontrolinė). B versijoje pakeičiamas vienas dalykas, pavyzdžiui, prizas. Visa kita lieka taip pat: auditorija, laikas, kanalas ir dizainas.
Kad testą būtų verta vykdyti, laikykitės trijų taisyklių:
- Keiskite vieną dalyką vienu metu. Jei pakeisite ir prizą, ir formatą, nežinosite, kuris iš jų lėmė skirtumą.
- Auditoriją dalykite atsitiktinai. Abi grupės turi būti palyginamos. Kompiuteriai prieš mobiliuosius ar pirmadienis prieš penktadienį – tai ne atsitiktinis padalijimas.
- Rodiklį pasirinkite prieš pradėdami. Išsirinkite vieną skaičių, kuris nulems laimėtoją, pavyzdžiui, registracijų rodiklį (registracijos ÷ apsilankymai).
Kaip padalyti žaidybintos kampanijos srautą
Scratcher neturi integruoto A/B padalijimo, todėl testą vykdote sukurdami dvi kampanijos kopijas ir padalydami srautą tame kanale, iš kurio ateina žmonės. Dažnai tai ir taip yra švariausias sprendimas:
- Naujienlaiškis. Dauguma el. pašto įrankių gali atsitiktinai padalyti siuntimą. Į vieną versiją įdėkite nuorodą į kampaniją A, į kitą – į kampaniją B.
- Mokama reklama socialiniuose tinkluose ir paieškoje. Sukurkite du skelbimus ar skelbimų rinkinius su tokiu pačiu taikymu ir biudžetu, kiekvienas su nuoroda į savo kampaniją. Daugelis reklamos platformų tam turi savo padalijimo testo funkciją.
- QR kodai ir spauda. Naudokite du QR kodus pakaitomis ant plakatų, skrajučių ar čekių tose pačiose parduotuvėse.
- Iššokantieji langai svetainėje. Iššokančiuosius langus galite taikyti pagal puslapį, domeną ir įrenginį, todėl švariausias testas – tarp palyginamų puslapių ar skilčių. Į rezultatą žiūrėkite kiek atsargiau nei atsitiktinio padalijimo atveju.
Jei nė vienas iš šių būdų neįmanomas, A ir B galite vykdyti iš eilės skirtingais laikotarpiais. Tai silpniausias variantas, nes rezultatą veikia sezonai, savaitės dienos ir kitos kampanijos, todėl naudokite jį tik dideliems skirtumams.
Ką testuoti pirmiausia
Testuoti galima beveik viską, tačiau kai kurie pakeitimai daug svarbesni už kitus. Pradėkite nuo sprendimų, kurie paliečia daugiausia žmonių ir kainuoja daugiausia pinigų:
- Prizas. Tai, ką žmonės gali laimėti, paprastai labiausiai lemia dalyvavimą.
- Forma. Laukų skaičius lemia, kiek žaidėjų užsiregistruos.
- Formatas. Greitas sėkmės žaidimas, viktorina ar įgūdžių žaidimas.
- Kvietimas. Antraštė, mygtuko tekstas ar el. laiško tema, paskatinanti žmones pradėti.
- Laikas ir vieta iššokantiesiems langams: po tam tikro laiko, slenkant, ketinant išeiti ar paspaudus.
Spalvas ir smulkius teksto pakeitimus palikite vėlesniam laikui. Su kampanijų dydžio auditorijomis jie retai pakeičia rezultatą tiek, kad būtų galima tai išmatuoti.
Imties dydžio pagrindai
Dažniausia testavimo klaida – per anksti paskelbti laimėtoją. Esant mažiems skaičiams, atsitiktinis triukšmas gali lengvai priversti vieną versiją atrodyti geresnę.
Kiek žmonių jums reikia, priklauso nuo trijų dalykų:
- Dabartinio konversijų rodiklio. Kuo retesnis veiksmas, tuo daugiau žmonių reikia.
- Mažiausio jums svarbaus skirtumo. Mažam pagerėjimui aptikti reikia daug daugiau lankytojų nei dideliam.
- Kiek norite būti tikri. Dauguma testų naudoja 95 % patikimumą.
Skaičiuoti ranka nereikia. Nemokamas įrankis, pavyzdžiui, Evan Miller imties dydžio skaičiuoklė, parodys, kiek lankytojų reikia kiekvienai versijai. Įveskite savo bazinį konversijų rodiklį ir mažiausią pagerėjimą, dėl kurio imtumėtės veiksmų.
Jei reikia daugiau srauto, nei sulauksite, nevykdykite neaiškaus testo. Verčiau testuokite didesnį pakeitimą arba sujunkite testą keliose kampanijose.
Nemokama A/B testo skaičiuoklė apskaičiuoja reikiamą imties dydį, o testui pasibaigus parodo, ar skirtumas tikras.
Testas: prizas ar be prizo
Prieš tikrinant, kuris prizas veikia geriausiai, verta patikrinti, ar prizas apskritai svarbus jūsų auditorijai. Pavyzdžiui:
- A: ratas, kuriame kiekvienas laimi nedidelį nuolaidos kodą
- B: tas pats ratas su pagrindinio prizo loterija visiems dalyviams ir be nuolaidos kodo
Žiūrėkite ne tik į registracijas. Prizas, pritraukiantis daug žmonių, kuriems rūpi tik prizas, gali duoti ilgą sąrašą, kurio įsitraukimas vėliau menkas. Kelias savaites po kampanijos stebėkite abi grupes ir palyginkite:
- el. laiškų atidarymo ir paspaudimų rodiklius;
- atsisakymus prenumeratos;
- pirkimus ar kodų panaudojimą.
Scratcher platformoje prizus valdote išsamiai: momentiniai laimėjimai, loterijos, unikalūs nuolaidų kodai ir brūkšniniai kodai, kiek kurių galima laimėti ir kada. Tad lengva išlaikyti visa kita identiška tarp A ir B.
Prizų idėjos, kurias verta palyginti tarpusavyje:
- jūsų produktas ar dovanų kortelė;
- vienas didelis prizas ar daug mažų;
- nuolaidos kodas visiems ar loterija keliems;
- paguodos prizas ar be paguodos prizo.
Formato testavimas
Formatas lemia, kiek laiko žmonės praleidžia su jūsų prekės ženklu ir ką apie juos sužinote. Tipiški palyginimai:
- Nutrinamoji kortelė ar „Suk ratą“. Abu – greiti sėkmės žaidimai. Geras pirmasis testas, jei norite daugiau registracijų.
- Sėkmės žaidimas ar viktorina. Viktorina trunka ilgiau, bet supažindina žmones su jūsų produktais, o atsakymai parodo, kas jiems patinka.
- Vienas žaidimas ar kalendorius. Kalendorius žmones sugrąžina daug kartų. Lyginkite bendrą registracijų skaičių ir pakartotinius apsilankymus, o ne tik pirmosios dienos skaičius.
Testuodami formatus, prizą, formą ir kvietimą palikite identiškus. Rinkitės iš daugiau nei 40 formatų ir abiem versijoms naudokite to paties stiliaus šabloną, kad dizainas neiškreiptų rezultato.
Formos ilgio testavimas
Kiekvienas papildomas laukas atbaido dalį dalyvių. Tačiau kai kurie laukai, pavyzdžiui, telefono numeris ar gimtadienis, gali būti verti šio nuostolio. Testas parodys, ar taip yra.
Testo pavyzdys:
- A: vardas ir el. paštas
- B: vardas, el. paštas ir telefono numeris
Matuokite abu:
- Registracijų rodiklį (registracijos ÷ žaidėjai)
- Vienos registracijos vertę. Jei telefono numeris leidžia parduoti SMS žinutėmis, B gali laimėti pagal vertę, net jei pralaimi pagal kiekį.
Sutikimo tekstą abiejose versijose palikite tokį patį, kad vienintelis skirtumas būtų papildomas laukas.
Rezultatų vertinimas
Kai testas pasiekia suplanuotą imties dydį, palyginkite abi versijas pagal iš anksto pasirinktą rodiklį.
- Patikrinkite reikšmingumą. Naudokite tą pačią skaičiuoklę arba reikšmingumo skaičiuoklę ir pažiūrėkite, ar skirtumas tikėtinai tikras.
- Žiūrėkite į visą piltuvą. Apsilankymai → žaidėjai → registracijos → tolesni veiksmai. Versija gali laimėti viename etape ir pralaimėti kitame.
- Ieškokite netikėtumų. Ar vienas skelbimas gavo didesnį biudžetą? Ar vienas el. laiškas dažniau pateko į šlamštą? Jei padalijimas nebuvo sąžiningas, toks ir rezultatas.
- Užsirašykite, ką sužinojote, net jei laimėtojo nėra. „Prizas jokio skirtumo nepadarė“ – taip pat naudingas rezultatas.
Scratcher statistika beveik realiuoju laiku rodo kiekvienos kampanijos apsilankymus, žaidėjus, registracijas ir laimėtojus, taip pat iš kur atėjo žmonės. Kadangi A ir B – atskiros kampanijos, galite jas palyginti greta. Abi taip pat galite stebėti Google Analytics ar savo reklamos platformoje. Visą verta stebėti rodiklių sąrašą rasite mūsų įraše apie žaidybinimo rinkodaros KPI.
Testų žurnalo šablonas
Veskite paprastą kiekvieno testo žurnalą, kad komanda laikui bėgant kauptų žinias, o ne kartotų tuos pačius testus. Nukopijuokite šią struktūrą į skaičiuoklę:
| Laukas | Pavyzdys |
|---|---|
| Testo pavadinimas | Prizas: nuolaidos kodas ar pagrindinio prizo loterija |
| Hipotezė | Nuolaidos kodas visiems atneša daugiau registracijų nei pagrindinio prizo loterija |
| A versija | Ratas, 10 % kodas visiems |
| B versija | Ratas, loterija dėl vienos 500 € dovanų kortelės |
| Pagrindinis rodiklis | Registracijų rodiklis (registracijos ÷ apsilankymai) |
| Antriniai rodikliai | Kodų panaudojimas, el. laiškų paspaudimai po 30 dienų |
| Srauto padalijimas | Naujienlaiškis, atsitiktinis 50/50 padalijimas |
| Reikiamas imties dydis | Iš skaičiuoklės |
| Pradžios ir pabaigos datos | [datos] |
| Rezultatas | [A / B / aiškaus skirtumo nėra] |
| Ką darysime toliau | [sprendimas] |
Pradėkite nuo vieno testo
Norint pradėti, testavimo programos nereikia. Paimkite kitą savo kampaniją, išsirinkite sprendimą, dėl kurio mažiausiai tikri (dažniausiai tai prizas), ir padalykite srautą naujienlaiškyje ar reklamoje. Vienas geras testas išmokys daugiau nei dešimt spėjimų.
Norite daugiau idėjų, kaip paversti svetainės lankytojus klientais? Perskaitykite mūsų vadovą apie efektyvius iššokančiuosius langus, sužinokite, kaip veikia žaidimų iššokantieji langai, arba išbandykite Scratcher nemokamai 14 dienų ir sukurkite A ir B versijas jau šiandien.
