Безплатен инструмент
Калкулатор за A/B тестове
Проверете дали разликата между два варианта е статистически значима и изчислете колко посетители са нужни на един тест. Безплатно, без регистрация, с показана всяка формула.
Какво означава статистическа значимост в A/B тест
В A/B теста показвате две версии на нещо на две случайни групи хора и сравнявате колко от тях конвертират. Вариант B почти никога не получава точно същата степен като вариант A, дори когато промяната няма никакво значение. Въпросът е дали разликата е по-голяма от очакваното само от случайността.
P-стойността отговаря на това. Тя е вероятността да видите разлика поне толкова голяма, ако двата варианта всъщност се представят еднакво. P-стойност 0,036 означава, че разлика като вашата би се появила случайно в около 3,6% от тестовете без реална разлика. Ако p-стойността е под прага ви (0,05 при ниво на доверие 95%), резултатът се нарича статистически значим.
Как работи калкулаторът
Калкулаторът използва z-тест за две пропорции. Той обединява конверсиите на двата варианта, за да оцени степента, която бихте очаквали, ако нямаше разлика, изчислява от нея стандартната грешка и дели разликата между двете степени на нея. Резултатът е z-стойността: на колко стандартни грешки една от друга са двете степени. P-стойността идва от нормалното разпределение.
Пример: вариант A получава 100 конверсии от 1000 посетители (10%), а вариант B — 130 от 1000 (13%). Това е относителен ръст от 30%, z-стойност около 2,10 и двустранна p-стойност около 0,036. B е значимо по-добър при 95%, но не и при 99%.
Доверителният интервал показва диапазона, в който вероятно се намира истинската разлика. В примера той е от около +0,2 до +5,8 процентни пункта. Широкият интервал показва, че тестът още не е прецизен, дори ако е значим.
Провеждате анкета, а не тест? Калкулаторът за размер на извадка за анкети ви казва колко отговора са ви нужни.
Първо планирайте размера на извадката
Повечето неуспешни тестове са твърде малки. Преди да започнете, определете най-малката промяна, заради която си струва да действате, и използвайте помощника преди теста, за да видите колко посетители са нужни на всеки вариант при мощност 80%. Мощността е шансът тестът да открие ефект с такъв размер, ако той наистина съществува. След това провеждайте теста, докато достигнете този брой, и го провеждайте за цели седмици, така че да са включени и делничните дни, и уикендите.
Няколко други правила помагат:
- Тествайте по една промяна наведнъж, например наградата, формата на играта или броя полета във формуляра, за да знаете какво е направило разликата.
- Изберете показателя преди теста. Степента на регистрация, степента на завършване и степента на съгласие могат да се движат в различни посоки.
- Не надничайте и не спирайте. Ако спрете, щом p-стойността падне под 0,05, фалшивите победители стават много по-чести.
Нашето ръководство за A/B тестване на геймифицирани кампании показва какво си струва да се тества в една кампания, а списъкът с маркетингови KPI за геймификация ви помага да изберете показателя. В Scratcher числата за всяка кампания са в анализа. За да видите колко струва в пари по-добрата степен на конверсия, използвайте калкулатора за ROI на кампании.
Статистическата значимост ви казва дали една разлика вероятно е реална, а не дали е достатъчно голяма, за да има значение. Гледайте и ръста, и доверителния интервал.
Безплатен ли е калкулаторът за A/B тестове?
Да. Можете да го използвате безплатно колкото пъти искате и не ви трябва акаунт. Нищо от това, което въвеждате, не се изпраща към нас.
Каква p-стойност се смята за значима?
Зависи от нивото на доверие, което изберете преди теста. При 95% p-стойност под 0,05 е значима. При 90% прагът е 0,10, а при 99% — 0,01. По-строгото ниво означава по-малко фалшиви победители, но изисква повече посетители.
Едностранен или двустранен тест да използвам?
Използвайте двустранен, освен ако не сте решили предварително, че ви интересува само дали B е по-добър, и бихте третирали по-лош B като липса на разлика. Едностранният тест достига значимост по-бързо, но не може да ви каже, че B е по-лош.
Резултатът ми не е значим. Какво сега?
Това означава, че тестът не е показал разлика, а не че няма такава. Проверете помощника преди теста: ако имате много по-малко посетители от нужното, продължете теста. Ако сте достигнали планирания размер на извадката, приемете вариантите за равностойни и тествайте по-голяма промяна.
Защо калкулаторът предупреждава за малки извадки?
Z-тестът разчита на приближение, което работи само когато всеки вариант има достатъчно конверсии и неконверсии — приблизително по 5 или повече от всяко. При по-малко данни p-стойността може да е подвеждаща, затова съберете повече, преди да решите.
Оставете следващото теглене да се случи от само себе си
Провеждайте играта си с награди на собствена страница, събирайте имейли и съгласия и оставете победителите да бъдат изтеглени вместо вас. Опитайте безплатно за 14 дни, без кредитна карта.