스크래치 카드가 휠보다 나을까요? 경품이 클수록 가입이 늘어날까요, 아니면 경품 사냥꾼만 늘어날까요? 전화번호를 물어봐야 할까요, 말아야 할까요? 캠페인 A/B 테스트는 이런 질문에 답을 찾는 가장 확실한 방법입니다. 추측하는 대신 비슷한 두 그룹에 서로 다른 버전을 보여주고, 결과가 판단하게 하세요.
이 가이드에서는 무엇부터 테스트할지, 얼마나 많은 사람이 필요한지, 경품·형식·폼 테스트를 어떻게 설정할지, 그리고 스스로를 속이지 않고 결과를 해석하는 방법을 설명합니다.
캠페인 A/B 테스트의 기본
A/B 테스트는 한 가지 요소만 다른 두 버전을 비교하는 것입니다. 버전 A는 현재 캠페인(대조군)이고, 버전 B는 경품 등 한 가지만 바꾼 것입니다. 대상, 시점, 채널, 디자인 등 나머지는 모두 동일하게 유지합니다.
의미 있는 테스트를 위한 세 가지 원칙:
- 한 번에 하나만 바꾸세요. 경품과 형식을 동시에 바꾸면 무엇이 차이를 만들었는지 알 수 없습니다.
- 대상을 무작위로 나누세요. 두 그룹은 서로 비교 가능해야 합니다. 데스크톱 대 모바일, 월요일 대 금요일은 무작위 분할이 아닙니다.
- 시작 전에 지표를 정하세요. 승자를 결정할 숫자 하나를 고르세요. 예: 가입률(가입 수 ÷ 방문 수).
게임형 캠페인의 트래픽 분할 방법
Scratcher에는 A/B 분할 기능이 내장되어 있지 않으므로, 캠페인을 두 개로 복사한 뒤 사람들을 유입시키는 채널에서 트래픽을 나눠 테스트합니다. 사실 이 방법이 가장 깔끔한 경우가 많습니다.
- 뉴스레터. 대부분의 이메일 도구는 발송을 무작위로 나눌 수 있습니다. 한 버전에는 캠페인 A 링크를, 다른 버전에는 캠페인 B 링크를 넣으세요.
- 유료 소셜 및 검색 광고. 타기팅과 예산이 같은 광고 또는 광고 세트 두 개를 만들고 각각 다른 캠페인으로 연결하세요. 많은 광고 플랫폼에 자체 분할 테스트 기능이 있습니다.
- QR 코드 및 인쇄물. 같은 매장의 포스터, 전단지, 영수증에 두 가지 QR 코드를 번갈아 사용하세요.
- 웹사이트 팝업. 팝업은 페이지, 도메인, 기기별로 타기팅할 수 있으므로 비슷한 페이지나 섹션끼리 비교하는 것이 가장 깔끔합니다. 다만 무작위 분할보다는 결과를 조금 더 신중하게 해석하세요.
이 중 어느 것도 불가능하다면 A와 B를 연속된 기간에 운영할 수도 있습니다. 계절, 요일, 다른 캠페인이 결과에 영향을 주기 때문에 가장 약한 방법이므로, 큰 차이를 확인할 때만 사용하세요.
무엇부터 테스트할까
거의 모든 것을 테스트할 수 있지만, 어떤 변화는 다른 것보다 훨씬 중요합니다. 가장 많은 사람에게 영향을 주고 비용이 가장 많이 드는 결정부터 시작하세요.
- 경품. 무엇을 받을 수 있는지가 보통 참여를 좌우하는 가장 큰 요인입니다.
- 폼. 필드 수가 플레이어 중 몇 명이 가입으로 이어질지를 결정합니다.
- 형식. 빠른 운 게임 대 퀴즈 또는 실력 게임.
- 초대 문구. 사람들이 시작하게 만드는 헤드라인, 버튼 문구, 이메일 제목.
- 팝업의 타이밍과 위치: 일정 시간 후, 스크롤 시, 이탈 의도 감지 시, 클릭 시.
색상이나 사소한 문구 변경은 나중으로 미루세요. 캠페인 규모의 대상으로는 측정할 만큼 결과가 달라지는 경우가 드뭅니다.
표본 크기의 기본
가장 흔한 테스트 실수는 너무 일찍 승자를 정하는 것입니다. 숫자가 적으면 무작위 변동만으로도 한 버전이 쉽게 더 좋아 보일 수 있습니다.
필요한 인원은 세 가지에 따라 달라집니다.
- 현재 전환율. 행동이 드물수록 더 많은 사람이 필요합니다.
- 의미 있다고 보는 최소 차이. 작은 개선을 감지하려면 큰 개선보다 훨씬 많은 방문자가 필요합니다.
- 원하는 확신의 정도. 대부분의 테스트는 95% 신뢰도를 사용합니다.
직접 계산할 필요는 없습니다. Evan Miller의 표본 크기 계산기 같은 무료 도구가 버전당 필요한 방문자 수를 알려줍니다. 기준 전환율과 실행에 옮길 만한 최소 개선 폭을 입력하세요.
결과가 확보할 수 있는 트래픽보다 많다면 애매한 테스트는 하지 마세요. 대신 더 큰 변화를 테스트하거나 여러 캠페인에 걸쳐 테스트를 합치세요.
무료 A/B 테스트 계산기로 필요한 표본 크기를 계산하고, 테스트가 끝나면 차이가 실제로 유의미한지 확인할 수 있습니다.
경품 유무 테스트
어떤 경품이 가장 효과적인지 테스트하기 전에, 우리 고객에게 경품 자체가 중요한지 먼저 테스트해 볼 만합니다. 예를 들어:
- A: 모두가 소액 할인 코드를 받는 휠
- B: 할인 코드 없이 모든 참여자를 대상으로 대형 경품 추첨을 진행하는 같은 휠
가입 수만 보지 마세요. 경품만 원하는 사람을 많이 끌어들이는 경품은 목록은 길지만 이후 참여도가 낮을 수 있습니다. 캠페인 후 몇 주 동안 두 그룹을 추적하고 다음을 비교하세요.
- 이메일 오픈율과 클릭률
- 수신 거부
- 구매 또는 코드 사용
Scratcher에서는 즉석 당첨, 추첨, 고유 할인 코드와 바코드, 각 경품의 당첨 수량과 시점까지 경품을 세밀하게 관리할 수 있습니다. 그래서 A와 B 사이의 다른 조건을 쉽게 동일하게 유지할 수 있습니다.
서로 비교해 볼 만한 경품 아이디어:
- 자사 제품 대 기프트 카드
- 큰 경품 하나 대 작은 경품 여러 개
- 모두에게 할인 코드 대 소수 대상 추첨
- 위로 경품 있음 대 없음
형식 테스트
형식은 사람들이 브랜드와 함께 보내는 시간과 그들에 대해 알게 되는 내용에 영향을 줍니다. 대표적인 비교:
- 스크래치 카드 대 휠 돌리기. 둘 다 빠른 운 게임입니다. 가입을 늘리고 싶다면 첫 테스트로 좋습니다.
- 운 게임 대 퀴즈. 퀴즈는 시간이 더 걸리지만 제품을 알릴 수 있고, 답변을 통해 고객의 취향을 알 수 있습니다.
- 단일 게임 대 캘린더. 캘린더는 사람들을 여러 번 다시 오게 합니다. 첫날 수치만이 아니라 총 가입 수와 재방문을 비교하세요.
형식을 테스트할 때는 경품, 폼, 초대 문구를 동일하게 유지하세요. 40가지 이상의 형식 중에서 고르고, 디자인이 결과를 왜곡하지 않도록 두 버전에 같은 템플릿 스타일을 사용하세요.
폼 길이 테스트
필드를 하나 추가할 때마다 일부 참여자를 잃습니다. 하지만 전화번호나 생일 같은 필드는 그만한 가치가 있을 수 있습니다. 테스트로 확인하세요.
테스트 예시:
- A: 이름과 이메일
- B: 이름, 이메일, 전화번호
두 가지를 모두 측정하세요.
- 가입률(가입 수 ÷ 플레이어 수)
- 가입당 가치. 전화번호로 SMS 판매가 가능하다면, B는 수량에서 지더라도 가치에서 이길 수 있습니다.
두 버전의 동의 문구를 동일하게 유지해 추가 필드만 차이가 나도록 하세요.
결과 해석
계획한 표본 크기에 도달하면 처음에 정한 지표로 두 버전을 비교하세요.
- 유의성을 확인하세요. 같은 계산기나 유의성 계산기를 사용해 차이가 실제일 가능성이 있는지 확인하세요.
- 전체 퍼널을 보세요. 방문 → 플레이어 → 가입 → 후속 행동. 한 단계에서 이긴 버전이 다음 단계에서 질 수 있습니다.
- 예상치 못한 변수를 확인하세요. 한 광고에 예산이 더 들어갔나요? 한 이메일이 스팸함에 더 많이 들어갔나요? 분할이 공정하지 않았다면 결과도 공정하지 않습니다.
- 승자가 없더라도 배운 점을 기록하세요. "경품은 차이를 만들지 않았다"도 유용한 결과입니다.
Scratcher의 통계는 캠페인별 방문, 플레이어, 가입, 당첨자를 유입 경로와 함께 거의 실시간으로 보여줍니다. A와 B는 별도의 캠페인이므로 나란히 비교할 수 있습니다. Google Analytics나 광고 플랫폼에서도 둘 다 추적할 수 있습니다. 추적할 만한 지표의 전체 목록은 게이미피케이션 마케팅 KPI 글을 참고하세요.
테스트 기록 템플릿
모든 테스트를 간단히 기록해 두면 팀이 같은 테스트를 반복하지 않고 지식을 쌓아갈 수 있습니다. 이 구조를 스프레드시트에 복사해 사용하세요.
| 항목 | 예시 |
|---|---|
| 테스트 이름 | 경품: 할인 코드 대 대형 경품 추첨 |
| 가설 | 모두에게 주는 할인 코드가 대형 경품 추첨보다 가입을 더 많이 이끈다 |
| 버전 A | 휠, 모두에게 10% 코드 |
| 버전 B | 휠, €500 기프트 카드 1명 추첨 |
| 주요 지표 | 가입률(가입 수 ÷ 방문 수) |
| 보조 지표 | 코드 사용, 30일 후 이메일 클릭 |
| 트래픽 분할 | 뉴스레터, 무작위 50/50 분할 |
| 필요 표본 크기 | 계산기 결과 |
| 시작일과 종료일 | [날짜] |
| 결과 | [A / B / 뚜렷한 차이 없음] |
| 다음 조치 | [결정 사항] |
테스트 하나로 시작하세요
시작하는 데 거창한 테스트 프로그램은 필요 없습니다. 다음 캠페인을 고르고, 가장 확신이 없는 결정 하나(보통은 경품)를 선택한 뒤 뉴스레터나 광고에서 트래픽을 나누세요. 잘 설계된 테스트 하나가 열 번의 추측보다 더 많은 것을 알려줍니다.
웹사이트 방문자를 전환시키는 더 많은 아이디어가 필요하신가요? 전환율 높은 팝업 가이드를 읽어보고, 게임 팝업의 작동 방식을 확인하거나, Scratcher를 14일간 무료로 체험하고 오늘 바로 버전 A와 B를 만들어 보세요.
