Към съдържанието
Rex, вашият AI асистент: рутината е поета, идеите са ваши 👉 Запознайте се с Rex

Безплатен инструмент

Калкулатор за A/B тестове

Проверете дали разликата между два варианта е статистически значима и изчислете колко посетители са нужни на един тест. Безплатно, без регистрация, с показана всяка формула.

Вариант A (контролен)
Вариант B
Настройки на теста
Вид тест

Двустранният тест проверява дали B се различава от A в която и да е посока. Едностранният проверява само дали B е по-добър. Изберете, преди тестът да започне, а не след като сте видели числата.

Резултат

Степен на конверсия A
–
Степен на конверсия B
–
Относителен ръст (B спрямо A)
–
Z-стойност
–
P-стойност
–
–

Колко посетители са нужни на теста ви?

Планирайте теста, преди да започне. Въведете текущата си степен на конверсия и най-малката промяна, на която бихте реагирали.

Относителна промяна: 20 означава, че искате да откриете промяна от 10% на 12%. Колкото по-малък е ефектът, толкова повече посетители ви трябват.

Нужни посетители на вариант

–

Как се изчислява

  • Степен на конверсия: pA = conversions A ÷ visitors A и същото за B
  • Относителен ръст: (pB − pA) ÷ pA
  • Обединена степен: p = (conversions A + conversions B) ÷ (visitors A + visitors B)
  • Обединена стандартна грешка: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)), където n е броят посетители
  • Z-стойност: z = (pB − pA) ÷ SE
  • P-стойност: двустранна 2 × (1 − Φ(|z|)), едностранна 1 − Φ(z), където Φ е стандартното нормално разпределение. Резултатът е значим, когато p-стойността е под 1 − нивото на доверие, напр. 0,05 при 95%.
  • Доверителен интервал за разликата: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB), със z* = 1,645; 1,960 или 2,576 за 90%, 95% или 99%. Този интервал използва необединената стандартна грешка.
  • Посетители на вариант: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)², където p1 е текущата степен, p2 = p1 × (1 + effect), p̄ = (p1 + p2) ÷ 2, zα = 1,645; 1,960 или 2,576, а zβ = 0,842 за мощност 80% или 1,282 за 90%. Резултатът се закръгля нагоре.

Калкулаторът работи в браузъра ви и нищо от това, което въвеждате, не се изпраща към нас. Използва z-тест за две пропорции — стандартният тест за сравняване на две степени на конверсия, когато всеки вариант има разумен брой конверсии. Определете размера на извадката, преди тестът да започне, и не спирайте в момента, в който резултатът стане значим: многократните проверки увеличават вероятността от фалшиво положителни резултати.

Какво означава статистическа значимост в A/B тест

В A/B теста показвате две версии на нещо на две случайни групи хора и сравнявате колко от тях конвертират. Вариант B почти никога не получава точно същата степен като вариант A, дори когато промяната няма никакво значение. Въпросът е дали разликата е по-голяма от очакваното само от случайността.

P-стойността отговаря на това. Тя е вероятността да видите разлика поне толкова голяма, ако двата варианта всъщност се представят еднакво. P-стойност 0,036 означава, че разлика като вашата би се появила случайно в около 3,6% от тестовете без реална разлика. Ако p-стойността е под прага ви (0,05 при ниво на доверие 95%), резултатът се нарича статистически значим.

Как работи калкулаторът

Калкулаторът използва z-тест за две пропорции. Той обединява конверсиите на двата варианта, за да оцени степента, която бихте очаквали, ако нямаше разлика, изчислява от нея стандартната грешка и дели разликата между двете степени на нея. Резултатът е z-стойността: на колко стандартни грешки една от друга са двете степени. P-стойността идва от нормалното разпределение.

Пример: вариант A получава 100 конверсии от 1000 посетители (10%), а вариант B — 130 от 1000 (13%). Това е относителен ръст от 30%, z-стойност около 2,10 и двустранна p-стойност около 0,036. B е значимо по-добър при 95%, но не и при 99%.

Доверителният интервал показва диапазона, в който вероятно се намира истинската разлика. В примера той е от около +0,2 до +5,8 процентни пункта. Широкият интервал показва, че тестът още не е прецизен, дори ако е значим.

Провеждате анкета, а не тест? Калкулаторът за размер на извадка за анкети ви казва колко отговора са ви нужни.

Първо планирайте размера на извадката

Повечето неуспешни тестове са твърде малки. Преди да започнете, определете най-малката промяна, заради която си струва да действате, и използвайте помощника преди теста, за да видите колко посетители са нужни на всеки вариант при мощност 80%. Мощността е шансът тестът да открие ефект с такъв размер, ако той наистина съществува. След това провеждайте теста, докато достигнете този брой, и го провеждайте за цели седмици, така че да са включени и делничните дни, и уикендите.

Няколко други правила помагат:

  1. Тествайте по една промяна наведнъж, например наградата, формата на играта или броя полета във формуляра, за да знаете какво е направило разликата.
  2. Изберете показателя преди теста. Степента на регистрация, степента на завършване и степента на съгласие могат да се движат в различни посоки.
  3. Не надничайте и не спирайте. Ако спрете, щом p-стойността падне под 0,05, фалшивите победители стават много по-чести.

Нашето ръководство за A/B тестване на геймифицирани кампании показва какво си струва да се тества в една кампания, а списъкът с маркетингови KPI за геймификация ви помага да изберете показателя. В Scratcher числата за всяка кампания са в анализа. За да видите колко струва в пари по-добрата степен на конверсия, използвайте калкулатора за ROI на кампании.

Статистическата значимост ви казва дали една разлика вероятно е реална, а не дали е достатъчно голяма, за да има значение. Гледайте и ръста, и доверителния интервал.

Въпроси

Въпроси за значимостта на A/B тестовете

Запазете среща
Безплатен ли е калкулаторът за A/B тестове?

Да. Можете да го използвате безплатно колкото пъти искате и не ви трябва акаунт. Нищо от това, което въвеждате, не се изпраща към нас.

Каква p-стойност се смята за значима?

Зависи от нивото на доверие, което изберете преди теста. При 95% p-стойност под 0,05 е значима. При 90% прагът е 0,10, а при 99% — 0,01. По-строгото ниво означава по-малко фалшиви победители, но изисква повече посетители.

Едностранен или двустранен тест да използвам?

Използвайте двустранен, освен ако не сте решили предварително, че ви интересува само дали B е по-добър, и бихте третирали по-лош B като липса на разлика. Едностранният тест достига значимост по-бързо, но не може да ви каже, че B е по-лош.

Резултатът ми не е значим. Какво сега?

Това означава, че тестът не е показал разлика, а не че няма такава. Проверете помощника преди теста: ако имате много по-малко посетители от нужното, продължете теста. Ако сте достигнали планирания размер на извадката, приемете вариантите за равностойни и тествайте по-голяма промяна.

Защо калкулаторът предупреждава за малки извадки?

Z-тестът разчита на приближение, което работи само когато всеки вариант има достатъчно конверсии и неконверсии — приблизително по 5 или повече от всяко. При по-малко данни p-стойността може да е подвеждаща, затова съберете повече, преди да решите.

Оставете следващото теглене да се случи от само себе си

Провеждайте играта си с награди на собствена страница, събирайте имейли и съгласия и оставете победителите да бъдат изтеглени вместо вас. Опитайте безплатно за 14 дни, без кредитна карта.