Sari la conținut

Rex, asistentul tău AI: munca de rutină, rezolvată. Ideile, ale tale 👉 Fă cunoștință cu Rex

Instrument gratuit

Calculator test A/B

Verifică dacă diferența dintre două variante este semnificativă statistic și calculează de câți vizitatori are nevoie un test. Gratuit, fără cont și cu toate formulele afișate.

Varianta A (control)
Varianta B
Setările testului
Tipul testului

Un test bilateral verifică dacă B diferă de A în orice direcție. Un test unilateral verifică doar dacă B este mai bun. Alege înainte să înceapă testul, nu după ce ai văzut cifrele.

Rezultat

Rata de conversie A
–
Rata de conversie B
–
Creștere relativă (B față de A)
–
Scor z
–
Valoarea p
–
–
De câți vizitatori are nevoie testul tău?

Planifică testul înainte să-l pornești. Introdu rata de conversie actuală și cea mai mică schimbare pentru care ai acționa.

O schimbare relativă: 20 înseamnă că vrei să detectezi o creștere de la 10% la 12%. Cu cât efectul e mai mic, cu atât ai nevoie de mai mulți vizitatori.

Vizitatori necesari pe variantă

–

Cum se calculează

  • Rata de conversie: pA = conversii A ÷ vizitatori A, la fel pentru B
  • Creștere relativă: (pB − pA) ÷ pA
  • Rata comună: p = (conversii A + conversii B) ÷ (vizitatori A + vizitatori B)
  • Eroarea standard comună: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), unde n este numărul de vizitatori
  • Scor z: z = (pB − pA) ÷ SE
  • Valoarea p: bilateral 2 × (1 − Φ(|z|)), unilateral 1 − Φ(z), unde Φ este distribuția normală standard. Rezultatul este semnificativ când valoarea p este sub 1 − nivelul de încredere, de exemplu 0,05 la 95%.
  • Intervalul de încredere pentru diferență: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), cu z* = 1,645, 1,960 sau 2,576 pentru 90%, 95% sau 99%. Acest interval folosește eroarea standard necombinată.
  • Vizitatori pe variantă: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², unde p1 este rata actuală, p2 = p1 × (1 + efect), p̄ = (p1 + p2) ÷ 2, zα = 1,645, 1,960 sau 2,576, iar zβ = 0,842 pentru o putere de 80% sau 1,282 pentru 90%. Rezultatul se rotunjește în sus.

Calculatorul rulează în browserul tău și nimic din ce scrii nu ne este trimis. Folosește un test z pentru două proporții, testul standard pentru a compara două rate de conversie când fiecare variantă are un număr rezonabil de conversii. Stabilește mărimea eșantionului înainte să înceapă testul și nu-l opri în momentul în care rezultatul devine semnificativ: verificările repetate fac rezultatele fals pozitive mai probabile.

Ce înseamnă semnificația statistică într-un test A/B

Într-un test A/B arăți două versiuni ale unui lucru la două grupuri aleatorii de oameni și compari câți convertesc. Varianta B aproape niciodată nu are exact aceeași rată ca varianta A, chiar dacă schimbarea nu are niciun efect. Întrebarea este dacă diferența e mai mare decât te-ai aștepta doar din întâmplare.

Valoarea p răspunde la asta. Este probabilitatea de a vedea o diferență cel puțin la fel de mare dacă cele două variante ar avea de fapt aceeași performanță. O valoare p de 0,036 înseamnă că o diferență ca a ta ar apărea din întâmplare în aproximativ 3,6% din testele fără o diferență reală. Dacă valoarea p este sub pragul tău (0,05 pentru un nivel de încredere de 95%), rezultatul se numește semnificativ statistic.

Cum funcționează calculatorul

Calculatorul folosește un test z pentru două proporții. Combină conversiile ambelor variante ca să estimeze rata la care te-ai aștepta dacă n-ar exista nicio diferență, calculează din ea eroarea standard și împarte la ea diferența dintre cele două rate. Rezultatul este scorul z: câte erori standard separă cele două rate. Valoarea p vine din distribuția normală.

Un exemplu: varianta A are 100 de conversii din 1.000 de vizitatori (10%), iar varianta B are 130 din 1.000 (13%). Asta înseamnă o creștere relativă de 30%, un scor z de aproximativ 2,10 și o valoare p bilaterală de aproximativ 0,036. B este semnificativ mai bună la 95%, dar nu la 99%.

Intervalul de încredere arată intervalul în care se află probabil diferența reală. În exemplu, merge de la aproximativ +0,2 la +5,8 puncte procentuale. Un interval larg îți spune că testul nu e încă precis, chiar dacă este semnificativ.

Faci un sondaj în loc de un test? Calculatorul de mărime a eșantionului pentru sondaje îți spune de câte răspunsuri ai nevoie.

Planifică mai întâi mărimea eșantionului

Cele mai multe teste ratate sunt prea mici. Înainte să începi, stabilește cea mai mică schimbare pentru care merită să acționezi și folosește planificatorul ca să vezi de câți vizitatori are nevoie fiecare variantă la o putere de 80%. Puterea este șansa ca testul să detecteze un efect de acea mărime, dacă el chiar există. Apoi lasă testul să meargă până atingi acel număr, și pe săptămâni întregi, ca să incluzi și zilele lucrătoare, și weekendurile.

Mai ajută câteva reguli:

  1. Testează o singură schimbare odată, de exemplu premiul, formatul jocului sau numărul de câmpuri din formular, ca să știi ce a făcut diferența.
  2. Alege indicatorul înainte de test. Rata de înscriere, rata de finalizare și rata de consimțământ se pot mișca în direcții diferite.
  3. Nu trage cu ochiul și nu opri testul. Dacă oprești testul imediat ce valoarea p scade sub 0,05, câștigătorii falși devin mult mai frecvenți.

Ghidul nostru despre testarea A/B a campaniilor gamificate arată ce merită testat într-o campanie, iar lista de KPI pentru marketingul cu gamificare te ajută să alegi indicatorul. În Scratcher, cifrele fiecărei campanii sunt în statistici. Ca să vezi cât valorează în bani o rată de conversie mai bună, folosește calculatorul ROI pentru campanii.

Semnificația statistică îți spune dacă o diferență este probabil reală, nu dacă e destul de mare ca să conteze. Uită-te și la creștere și la intervalul de încredere.

Întrebări

Întrebări despre semnificația testelor A/B

Programează o întâlnire

  • Da. Îl poți folosi gratuit de câte ori vrei și nu ai nevoie de cont. Nimic din ce scrii nu ne este trimis.

  • Depinde de nivelul de încredere pe care îl alegi înainte de test. La 95%, o valoare p sub 0,05 este semnificativă. La 90% pragul este 0,10, iar la 99% este 0,01. Un nivel mai strict înseamnă mai puțini câștigători falși, dar are nevoie de mai mulți vizitatori.

  • Folosește testul bilateral, cu excepția cazului în care ai decis dinainte că te interesează doar dacă B este mai bună și că ai trata o variantă B mai slabă la fel ca lipsa unei diferențe. Un test unilateral ajunge mai repede la semnificație, dar nu-ți poate spune că B este mai slabă.

  • Înseamnă că testul nu a arătat o diferență, nu că ea nu există. Verifică planificatorul: dacă ai mult mai puțini vizitatori decât e nevoie, lasă testul să meargă. Dacă ai atins mărimea planificată a eșantionului, tratează variantele ca egale și testează o schimbare mai mare.

  • Testul z se bazează pe o aproximare care funcționează doar când fiecare variantă are destule conversii și non-conversii, cam 5 sau mai multe din fiecare. Cu mai puține date, valoarea p poate induce în eroare, așa că strânge mai multe date înainte să decizi.