Instrument gratuit
Calculator test A/B
Verifică dacă diferența dintre două variante este semnificativă statistic și calculează de câți vizitatori are nevoie un test. Gratuit, fără cont și cu toate formulele afișate.
Ce înseamnă semnificația statistică într-un test A/B
Într-un test A/B arăți două versiuni ale unui lucru la două grupuri aleatorii de oameni și compari câți convertesc. Varianta B aproape niciodată nu are exact aceeași rată ca varianta A, chiar dacă schimbarea nu are niciun efect. Întrebarea este dacă diferența e mai mare decât te-ai aștepta doar din întâmplare.
Valoarea p răspunde la asta. Este probabilitatea de a vedea o diferență cel puțin la fel de mare dacă cele două variante ar avea de fapt aceeași performanță. O valoare p de 0,036 înseamnă că o diferență ca a ta ar apărea din întâmplare în aproximativ 3,6% din testele fără o diferență reală. Dacă valoarea p este sub pragul tău (0,05 pentru un nivel de încredere de 95%), rezultatul se numește semnificativ statistic.
Cum funcționează calculatorul
Calculatorul folosește un test z pentru două proporții. Combină conversiile ambelor variante ca să estimeze rata la care te-ai aștepta dacă n-ar exista nicio diferență, calculează din ea eroarea standard și împarte la ea diferența dintre cele două rate. Rezultatul este scorul z: câte erori standard separă cele două rate. Valoarea p vine din distribuția normală.
Un exemplu: varianta A are 100 de conversii din 1.000 de vizitatori (10%), iar varianta B are 130 din 1.000 (13%). Asta înseamnă o creștere relativă de 30%, un scor z de aproximativ 2,10 și o valoare p bilaterală de aproximativ 0,036. B este semnificativ mai bună la 95%, dar nu la 99%.
Intervalul de încredere arată intervalul în care se află probabil diferența reală. În exemplu, merge de la aproximativ +0,2 la +5,8 puncte procentuale. Un interval larg îți spune că testul nu e încă precis, chiar dacă este semnificativ.
Faci un sondaj în loc de un test? Calculatorul de mărime a eșantionului pentru sondaje îți spune de câte răspunsuri ai nevoie.
Planifică mai întâi mărimea eșantionului
Cele mai multe teste ratate sunt prea mici. Înainte să începi, stabilește cea mai mică schimbare pentru care merită să acționezi și folosește planificatorul ca să vezi de câți vizitatori are nevoie fiecare variantă la o putere de 80%. Puterea este șansa ca testul să detecteze un efect de acea mărime, dacă el chiar există. Apoi lasă testul să meargă până atingi acel număr, și pe săptămâni întregi, ca să incluzi și zilele lucrătoare, și weekendurile.
Mai ajută câteva reguli:
- Testează o singură schimbare odată, de exemplu premiul, formatul jocului sau numărul de câmpuri din formular, ca să știi ce a făcut diferența.
- Alege indicatorul înainte de test. Rata de înscriere, rata de finalizare și rata de consimțământ se pot mișca în direcții diferite.
- Nu trage cu ochiul și nu opri testul. Dacă oprești testul imediat ce valoarea p scade sub 0,05, câștigătorii falși devin mult mai frecvenți.
Ghidul nostru despre testarea A/B a campaniilor gamificate arată ce merită testat într-o campanie, iar lista de KPI pentru marketingul cu gamificare te ajută să alegi indicatorul. În Scratcher, cifrele fiecărei campanii sunt în statistici. Ca să vezi cât valorează în bani o rată de conversie mai bună, folosește calculatorul ROI pentru campanii.
Semnificația statistică îți spune dacă o diferență este probabil reală, nu dacă e destul de mare ca să conteze. Uită-te și la creștere și la intervalul de încredere.
Calculatorul de test A/B este gratuit?
Da. Îl poți folosi gratuit de câte ori vrei și nu ai nevoie de cont. Nimic din ce scrii nu ne este trimis.
Ce valoare p este considerată semnificativă?
Depinde de nivelul de încredere pe care îl alegi înainte de test. La 95%, o valoare p sub 0,05 este semnificativă. La 90% pragul este 0,10, iar la 99% este 0,01. Un nivel mai strict înseamnă mai puțini câștigători falși, dar are nevoie de mai mulți vizitatori.
Ar trebui să folosesc un test unilateral sau bilateral?
Folosește testul bilateral, cu excepția cazului în care ai decis dinainte că te interesează doar dacă B este mai bună și că ai trata o variantă B mai slabă la fel ca lipsa unei diferențe. Un test unilateral ajunge mai repede la semnificație, dar nu-ți poate spune că B este mai slabă.
Rezultatul meu nu este semnificativ. Ce fac acum?
Înseamnă că testul nu a arătat o diferență, nu că ea nu există. Verifică planificatorul: dacă ai mult mai puțini vizitatori decât e nevoie, lasă testul să meargă. Dacă ai atins mărimea planificată a eșantionului, tratează variantele ca egale și testează o schimbare mai mare.
De ce avertizează calculatorul despre eșantioane mici?
Testul z se bazează pe o aproximare care funcționează doar când fiecare variantă are destule conversii și non-conversii, cam 5 sau mai multe din fiecare. Cu mai puține date, valoarea p poate induce în eroare, așa că strânge mai multe date înainte să decizi.
Lasă următoarea tragere la sorți să meargă singură
Organizează concursul pe pagina ta, colectează emailuri și consimțăminte și lasă-ne pe noi să extragem câștigătorii. Încearcă gratuit 14 zile, fără card.