Pereiti prie turinio
Rex, jūsų DI asistentas: rutiną atliks jis, idėjos – jūsų 👉 Susipažinkite su Rex

Nemokamas įrankis

A/B testo skaičiuoklė

Patikrinkite, ar dviejų variantų skirtumas yra statistiškai reikšmingas, ir apskaičiuokite, kiek lankytojų reikia testui. Nemokamai, be registracijos, o visos formulės pateiktos.

A variantas (kontrolinis)
B variantas
Testo nustatymai
Testo tipas

Dvipusis testas tikrina, ar B skiriasi nuo A bet kuria kryptimi. Vienpusis testas tikrina tik tai, ar B yra geresnis. Pasirinkite prieš pradėdami testą, o ne pamatę skaičius.

Rezultatas

A konversijų rodiklis
–
B konversijų rodiklis
–
Santykinis padidėjimas (B palyginti su A)
–
Z reikšmė
–
P reikšmė
–
–

Kiek lankytojų reikia jūsų testui?

Suplanuokite testą prieš jį pradėdami. Įveskite dabartinį konversijų rodiklį ir mažiausią pokytį, dėl kurio imtumėtės veiksmų.

Santykinis pokytis: 20 reiškia, kad norite aptikti pokytį nuo 10 % iki 12 %. Kuo mažesnis efektas, tuo daugiau lankytojų reikia.

Reikalingas lankytojų skaičius vienam variantui

–

Kaip skaičiuojama

  • Konversijų rodiklis: pA = konversijos A ÷ lankytojai A, ir analogiškai B
  • Santykinis padidėjimas: (pB − pA) ÷ pA
  • Bendras rodiklis: p = (konversijos A + konversijos B) ÷ (lankytojai A + lankytojai B)
  • Bendra standartinė paklaida: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), kur n – lankytojų skaičius
  • Z reikšmė: z = (pB − pA) ÷ SE
  • P reikšmė: dvipusio testo 2 × (1 − Φ(|z|)), vienpusio 1 − Φ(z), kur Φ – standartinis normalusis skirstinys. Rezultatas reikšmingas, kai p reikšmė mažesnė nei 1 − pasikliovimo lygis, pvz., 0,05 esant 95 %.
  • Skirtumo pasikliautinasis intervalas: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), kur z* = 1,645, 1,960 arba 2,576 atitinkamai 90 %, 95 % arba 99 %. Šiam intervalui naudojama nesujungta standartinė paklaida.
  • Lankytojai vienam variantui: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², kur p1 – dabartinis rodiklis, p2 = p1 × (1 + efektas), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 arba 2,576, o zβ = 0,842 esant 80 % galiai arba 1,282 esant 90 %. Rezultatas apvalinamas į didesnę pusę.

Skaičiuoklė veikia jūsų naršyklėje, o niekas, ką įvedate, mums nesiunčiama. Ji naudoja dviejų proporcijų z testą – standartinį testą dviem konversijų rodikliams palyginti, kai kiekvienas variantas turi pakankamai konversijų. Imties dydį nustatykite prieš pradėdami testą ir nesustabdykite jo vos rezultatui tapus reikšmingam: tikrinant vis iš naujo, klaidingai teigiamų rezultatų tikimybė didėja.

Ką A/B teste reiškia statistinis reikšmingumas

A/B teste dviem atsitiktinėms žmonių grupėms parodote dvi kažko versijas ir palyginate, kiek jų konvertuoja. B variantas beveik niekada nepasiekia lygiai tokio paties rodiklio kaip A, net jei pakeitimas visiškai nieko nekeičia. Klausimas – ar skirtumas didesnis, nei būtų galima tikėtis vien dėl atsitiktinumo.

Į tai atsako p reikšmė. Tai tikimybė pamatyti bent tokio dydžio skirtumą, jei abu variantai iš tikrųjų veiktų vienodai. P reikšmė 0,036 reiškia, kad toks skirtumas kaip jūsų atsitiktinai atsirastų maždaug 3,6 % testų, kuriuose tikro skirtumo nėra. Jei p reikšmė mažesnė už jūsų slenkstį (0,05 esant 95 % pasikliovimo lygiui), rezultatas vadinamas statistiškai reikšmingu.

Kaip veikia skaičiuoklė

Skaičiuoklė naudoja dviejų proporcijų z testą. Ji sujungia abiejų variantų konversijas, kad įvertintų rodiklį, kurio tikėtumėtės, jei skirtumo nebūtų, iš jo apskaičiuoja standartinę paklaidą ir ja padalija abiejų rodiklių skirtumą. Rezultatas – z reikšmė: kiek standartinių paklaidų skiria abu rodiklius. P reikšmė gaunama iš normaliojo skirstinio.

Pavyzdys: A variantas gauna 100 konversijų iš 1 000 lankytojų (10 %), o B – 130 iš 1 000 (13 %). Tai 30 % santykinis padidėjimas, apie 2,10 z reikšmė ir apie 0,036 dvipusė p reikšmė. B yra reikšmingai geresnis esant 95 %, bet ne esant 99 %.

Pasikliautinasis intervalas rodo ribas, kuriose greičiausiai yra tikrasis skirtumas. Pavyzdyje jis siekia nuo maždaug +0,2 iki +5,8 procentinio punkto. Platus intervalas rodo, kad testas dar nėra tikslus, net jei jis reikšmingas.

Vykdote apklausą, o ne testą? Apklausos imties dydžio skaičiuoklė parodys, kiek atsakymų jums reikia.

Pirmiausia suplanuokite imties dydį

Dauguma nepavykusių testų būna per maži. Prieš pradėdami nuspręskite, koks mažiausias pokytis vertas veiksmų, ir pasinaudokite planavimo įrankiu, kad pamatytumėte, kiek lankytojų reikia kiekvienam variantui esant 80 % galiai. Galia – tai tikimybė, kad testas aptiks tokio dydžio efektą, jei jis iš tikrųjų egzistuoja. Tada vykdykite testą, kol pasieksite tą skaičių, ir vykdykite jį ištisas savaites, kad būtų įtrauktos ir darbo dienos, ir savaitgaliai.

Padeda ir kelios kitos taisyklės:

  1. Testuokite vieną pakeitimą vienu metu, pavyzdžiui, prizą, žaidimo formatą ar formos laukų skaičių, kad žinotumėte, kas lėmė skirtumą.
  2. Rodiklį pasirinkite prieš testą. Registracijų, užbaigimo ir sutikimų rodikliai gali kisti skirtingomis kryptimis.
  3. Nežvilgčiokite ir nestabdykite. Sustabdžius testą vos p reikšmei nukritus žemiau 0,05, klaidingų laimėtojų gerokai padaugėja.

Mūsų gidas apie žaidybintų kampanijų A/B testavimą parodo, ką kampanijoje verta testuoti, o žaidybinimo rinkodaros KPI sąrašas padės pasirinkti rodiklį. Scratcher platformoje kiekvienos kampanijos skaičiai pateikiami analitikoje. Norėdami sužinoti, kiek pinigų vertas geresnis konversijų rodiklis, pasinaudokite kampanijos ROI skaičiuokle.

Statistinis reikšmingumas parodo, ar skirtumas greičiausiai tikras, bet ne tai, ar jis pakankamai didelis, kad būtų svarbus. Įvertinkite ir padidėjimą, ir pasikliautinąjį intervalą.

Klausimai

Klausimai apie A/B testo reikšmingumą

Užsisakyti susitikimą
Ar A/B testo skaičiuoklė nemokama?

Taip. Ja galite naudotis nemokamai kiek tik norite, paskyros nereikia. Niekas, ką įvedate, mums nesiunčiama.

Kokia p reikšmė laikoma reikšminga?

Tai priklauso nuo pasikliovimo lygio, kurį pasirenkate prieš testą. Esant 95 %, reikšminga yra mažesnė nei 0,05 p reikšmė. Esant 90 % slenkstis yra 0,10, o esant 99 % – 0,01. Griežtesnis lygis reiškia mažiau klaidingų laimėtojų, tačiau reikia daugiau lankytojų.

Ar naudoti vienpusį, ar dvipusį testą?

Naudokite dvipusį, nebent iš anksto nusprendėte, kad jums svarbu tik tai, ar B geresnis, ir prastesnį B vertintumėte taip pat kaip skirtumo nebuvimą. Vienpusis testas reikšmingumą pasiekia greičiau, bet negali parodyti, kad B yra prastesnis.

Mano rezultatas nereikšmingas. Ką daryti?

Tai reiškia, kad testas skirtumo neparodė, o ne kad jo nėra. Patikrinkite planavimo įrankį: jei lankytojų turite gerokai mažiau nei reikia, tęskite testą. Jei pasiekėte suplanuotą imties dydį, laikykite variantus lygiaverčiais ir testuokite didesnį pakeitimą.

Kodėl skaičiuoklė įspėja apie mažas imtis?

Z testas remiasi aproksimacija, kuri veikia tik tada, kai kiekvienas variantas turi pakankamai konversijų ir nekonversijų – maždaug po 5 ar daugiau. Turint mažiau duomenų, p reikšmė gali klaidinti, todėl prieš priimdami sprendimą surinkite daugiau duomenų.

Tegul kitas burtų traukimas vyksta savaime

Vykdykite konkursą savo puslapyje, rinkite el. pašto adresus ir sutikimus, o laimėtojai bus išrinkti už jus. Išbandykite nemokamai 14 dienų, kredito kortelės nereikia.