무료 도구
A/B 테스트 계산기
두 변형 간의 차이가 통계적으로 유의한지 확인하고, 테스트에 필요한 방문자 수를 계산해 보세요. 무료이며 가입이 필요 없고, 모든 공식을 공개합니다.
A/B 테스트에서 통계적 유의성이란
A/B 테스트에서는 무작위로 나눈 두 그룹에 서로 다른 두 버전을 보여 주고 전환 수를 비교합니다. 변경 사항이 전혀 영향을 주지 않더라도 변형 B가 변형 A와 정확히 같은 전환율을 기록하는 경우는 거의 없습니다. 핵심은 그 차이가 우연만으로 예상되는 수준보다 큰지 여부입니다.
p값이 바로 그 답을 줍니다. p값은 두 변형의 실제 성과가 같을 때 최소 이만큼의 차이가 관찰될 확률입니다. p값 0.036은 실제 차이가 없는 테스트 중 약 3.6%에서 이 정도의 차이가 우연히 나타난다는 뜻입니다. p값이 기준값(95% 신뢰 수준에서는 0.05)보다 작으면 통계적으로 유의하다고 합니다.
계산기 작동 방식
이 계산기는 두 비율 z 검정을 사용합니다. 두 변형의 전환을 합산해 차이가 없을 때 예상되는 전환율을 추정하고, 이를 바탕으로 표준 오차를 구한 뒤 두 전환율의 차이를 표준 오차로 나눕니다. 그 결과가 z 점수, 즉 두 전환율이 표준 오차 몇 개만큼 떨어져 있는지를 나타냅니다. p값은 정규 분포에서 구합니다.
예시: 변형 A는 방문자 1,000명 중 100건 전환(10%), 변형 B는 1,000명 중 130건 전환(13%)을 기록했습니다. 상대 상승률은 30%, z 점수는 약 2.10, 양측 p값은 약 0.036입니다. B는 95% 수준에서는 유의하게 우수하지만 99% 수준에서는 그렇지 않습니다.
신뢰 구간은 실제 차이가 있을 가능성이 높은 범위를 보여 줍니다. 이 예시에서는 약 +0.2~+5.8%p입니다. 구간이 넓다면 유의하더라도 테스트가 아직 정밀하지 않다는 뜻입니다.
테스트가 아니라 설문조사를 진행하시나요? 설문조사 표본 크기 계산기로 필요한 응답 수를 확인하세요.
표본 크기부터 계획하세요
실패한 테스트는 대부분 규모가 너무 작습니다. 시작하기 전에 조치할 가치가 있는 최소 변화를 정하고, 사전 테스트 도우미로 검정력 80%에서 변형당 필요한 방문자 수를 확인하세요. 검정력은 해당 크기의 효과가 실제로 존재할 때 테스트가 이를 감지할 확률입니다. 그런 다음 그 수에 도달할 때까지 테스트를 진행하되, 평일과 주말이 모두 포함되도록 주 단위로 운영하세요.
다음 규칙도 도움이 됩니다.
- 한 번에 하나만 변경해 테스트하세요. 경품, 게임 형식, 양식 필드 수 등을 하나씩 바꿔야 무엇이 차이를 만들었는지 알 수 있습니다.
- 테스트 전에 지표를 정하세요. 가입률, 완료율, 수신 동의율은 서로 다른 방향으로 움직일 수 있습니다.
- 중간에 엿보고 멈추지 마세요. p값이 0.05 아래로 떨어지자마자 중단하면 잘못된 승자가 나올 가능성이 크게 높아집니다.
게이미피케이션 캠페인 A/B 테스트 가이드에서 캠페인에서 테스트할 가치가 있는 요소를 확인하고, 게이미피케이션 마케팅 KPI 목록을 참고해 지표를 선택하세요. Scratcher에서는 각 캠페인의 수치를 분석에서 확인할 수 있습니다. 전환율 향상이 금액으로 얼마의 가치가 있는지 알아보려면 캠페인 ROI 계산기를 사용하세요.
통계적 유의성은 차이가 실제일 가능성이 높은지를 알려 줄 뿐, 그 차이가 의미 있을 만큼 큰지는 알려 주지 않습니다. 상승률과 신뢰 구간도 함께 살펴보세요.
A/B 테스트 계산기는 무료인가요?
네. 횟수 제한 없이 무료로 사용할 수 있으며 계정도 필요 없습니다. 입력한 내용은 저희에게 전송되지 않습니다.
p값이 얼마여야 유의한가요?
테스트 전에 선택한 신뢰 수준에 따라 다릅니다. 95%에서는 p값이 0.05 미만이면 유의합니다. 90%에서는 기준이 0.10, 99%에서는 0.01입니다. 기준이 엄격할수록 잘못된 승자는 줄지만 더 많은 방문자가 필요합니다.
단측 검정과 양측 검정 중 무엇을 써야 하나요?
B가 더 우수한지만 중요하고 B가 더 나쁜 경우를 차이 없음과 동일하게 취급하기로 미리 정한 경우가 아니라면 양측 검정을 사용하세요. 단측 검정은 더 빨리 유의성에 도달하지만 B가 더 나쁘다는 사실은 알려 주지 못합니다.
결과가 유의하지 않습니다. 이제 어떻게 해야 하나요?
이는 차이가 없다는 뜻이 아니라 테스트에서 차이가 확인되지 않았다는 뜻입니다. 사전 테스트 도우미를 확인하세요. 필요한 방문자 수보다 훨씬 적다면 테스트를 계속 진행하세요. 계획한 표본 크기에 도달했다면 두 변형을 동일하게 보고 더 큰 변화를 테스트하세요.
계산기가 작은 표본에 대해 경고하는 이유는 무엇인가요?
z 검정은 각 변형에 전환과 비전환이 충분할 때, 대략 각각 5건 이상일 때만 성립하는 근사에 기반합니다. 데이터가 이보다 적으면 p값이 오해를 불러일으킬 수 있으므로, 결정하기 전에 데이터를 더 수집하세요.
다음 추첨은 자동으로 진행하세요
자체 페이지에서 이벤트를 운영하고, 이메일과 동의를 수집하며, 당첨자 추첨까지 자동으로 맡기세요. 신용카드 없이 14일간 무료로 체험해 보세요.