スクラッチカードとルーレット、どちらが効果的でしょうか?賞品を豪華にすれば登録が増えるのか、それとも賞品目当ての人が増えるだけなのか?電話番号は聞くべきか、聞かないべきか?こうした疑問に答える最も確実な方法が、キャンペーンのA/Bテストです。推測するのではなく、条件の近い2つのグループに異なるバージョンを見せ、結果で判断します。
このガイドでは、最初に何をテストすべきか、何人のデータが必要か、賞品・フォーマット・フォームのテストをどう設計するか、そして思い込みに惑わされずに結果を読み解く方法を解説します。
キャンペーンのA/Bテスト:基本
A/Bテストとは、1点だけが異なる2つのバージョンを比較する手法です。バージョンAは現在のキャンペーン(コントロール)、バージョンBは賞品など1つの要素だけを変更したものです。オーディエンス、タイミング、チャネル、デザインなど、それ以外はすべて同じにします。
意味のあるテストにするための3つのルールがあります。
- 一度に変えるのは1つだけ。 賞品とフォーマットを同時に変えると、どちらが違いを生んだのかわかりません。
- オーディエンスはランダムに分ける。 2つのグループは比較可能でなければなりません。PCとモバイル、月曜と金曜といった分け方はランダムではありません。
- 開始前に指標を決める。 勝敗を決める数値を1つ選びます。たとえば登録率(登録数÷訪問数)です。
ゲーミフィケーションキャンペーンのトラフィックの分け方
ScratcherにはA/B分割機能が組み込まれていないため、キャンペーンを2つ用意し、ユーザーを送り込むチャネル側でトラフィックを分けてテストします。実際、この方法が最もクリーンな設定になることも多いです。
- ニュースレター。 ほとんどのメール配信ツールは、配信をランダムに分割できます。一方のバージョンにキャンペーンA、もう一方にキャンペーンBのリンクを入れましょう。
- SNS広告・検索広告。 ターゲティングと予算を揃えた2つの広告(または広告セット)を作成し、それぞれ別のキャンペーンにリンクさせます。多くの広告プラットフォームには、このための分割テスト機能があります。
- QRコード・印刷物。 同じ店舗内で、ポスター、チラシ、レシートに2種類のQRコードを交互に使います。
- Webサイトのポップアップ。 ポップアップはページ、ドメイン、デバイス単位でターゲティングできるため、条件の近いページやセクション同士で比較するのが最もクリーンです。ただし、ランダム分割より少し慎重に結果を解釈してください。
いずれも難しい場合は、AとBを期間をずらして実施することもできます。ただし、季節、曜日、他の施策の影響を受けるため最も精度の低い方法です。大きな差を確かめる場合に限って使いましょう。
最初に何をテストするか
ほぼ何でもテストできますが、変更によって影響の大きさはまったく異なります。まずは、最も多くの人に影響し、最もコストがかかる判断から始めましょう。
- 賞品。 何がもらえるかは、通常、参加率を最も大きく左右します。
- フォーム。 項目数によって、プレイヤーのうち何人が登録に至るかが決まります。
- フォーマット。 手軽な運試しゲームか、クイズやスキルゲームか。
- 誘導文。 参加のきっかけとなる見出し、ボタンの文言、メールの件名。
- ポップアップのタイミングと表示方法: 一定時間後、スクロール時、離脱時、クリック時。
色や細かな文言の変更は後回しにしましょう。キャンペーン規模のオーディエンスでは、測定できるほどの差が出ることはほとんどありません。
サンプルサイズの基本
テストで最も多い失敗は、勝者を早く決めすぎることです。数が少ないと、偶然のばらつきで一方が優れているように見えてしまいがちです。
必要な人数は、次の3つの要素で決まります。
- 現在のコンバージョン率。 発生頻度の低いアクションほど、多くの人数が必要です。
- 検出したい最小の差。 小さな改善を検出するには、大きな改善よりはるかに多くの訪問者が必要です。
- 求める確実性。 ほとんどのテストでは95%の信頼度を使います。
手計算する必要はありません。Evan Millerのサンプルサイズ計算ツールなどの無料ツールを使えば、バージョンごとに必要な訪問者数がわかります。現在のコンバージョン率と、施策に反映したい最小の改善幅を入力するだけです。
得られる見込みのトラフィックより多い数値が出た場合は、曖昧なテストを実施するのはやめましょう。代わりにより大きな変更をテストするか、複数のキャンペーンを通じてテストを統合します。
無料のA/Bテスト計算ツールでは、必要なサンプルサイズを算出できるほか、テスト終了後にその差が本物かどうかも判定できます。
賞品あり・なしのテスト
どの賞品が最も効果的かをテストする前に、そもそもあなたのオーディエンスにとって賞品が重要かどうかを確かめる価値があります。たとえば次のような形です。
- A: 全員が少額の割引コードを獲得できるルーレット
- B: 同じルーレットで、割引コードはなし、参加者全員を対象とした豪華賞品の抽選あり
登録数だけで判断しないでください。賞品だけが目当ての人を多く集める賞品だと、リストは長くなってもその後のエンゲージメントが低くなることがあります。キャンペーン終了後も数週間は両グループを追跡し、次の点を比較しましょう。
- メールの開封率とクリック率
- 配信停止数
- 購入数やコードの利用数
Scratcherでは、インスタントウィン、抽選、ユニークな割引コードやバーコード、各賞品の当選数や当選タイミングなど、賞品を細かく管理できます。そのため、AとBでそれ以外の条件をすべて同一に保つのも簡単です。
比較テストする価値のある賞品のアイデア:
- 自社製品 vs ギフトカード
- 大きな賞品1つ vs 小さな賞品多数
- 全員に割引コード vs 少数への抽選
- 残念賞あり vs 残念賞なし
フォーマットのテスト
フォーマットは、ユーザーがブランドと接する時間の長さや、ユーザーについて得られる情報に影響します。代表的な比較は次のとおりです。
- スクラッチカード vs ルーレットを回せ。 どちらも手軽な運試しゲームです。登録数を増やしたいなら、最初のテストに最適です。
- 運試しゲーム vs クイズ。 クイズは時間がかかりますが、製品について知ってもらえるうえ、回答から好みもわかります。
- 単発ゲーム vs カレンダー。 カレンダーはユーザーに何度も再訪してもらえます。初日の数字だけでなく、登録総数と再訪数を比較しましょう。
フォーマットをテストする際は、賞品、フォーム、誘導文を同一にしてください。40以上のフォーマットから選び、両バージョンで同じテンプレートのスタイルを使えば、デザインが結果を歪めることはありません。
フォームの長さのテスト
項目を1つ増やすごとに、一部の参加者は離脱します。それでも、電話番号や誕生日のように、離脱を上回る価値がある項目もあります。その価値があるかどうかは、テストで確かめられます。
テスト例:
- A: 名前とメールアドレス
- B: 名前、メールアドレス、電話番号
次の両方を測定します。
- 登録率(登録数÷プレイヤー数)
- 登録1件あたりの価値。 電話番号でSMS販促ができるなら、Bは件数で負けても価値で勝つかもしれません。
同意文は両バージョンで同じにし、違いが追加項目だけになるようにしましょう。
結果の読み解き方
計画したサンプルサイズに達したら、事前に決めた指標で2つのバージョンを比較します。
- 有意性を確認する。 同じ計算ツールや有意性計算ツールを使い、その差が本物である可能性が高いかを確認します。
- ファネル全体を見る。 訪問 → プレイ → 登録 → その後のアクション。あるステップで勝っても、次のステップで負けることがあります。
- 想定外の要因をチェックする。 一方の広告に多く予算が配分されていなかったか?一方のメールが迷惑メールフォルダに入りやすくなかったか?分割が公平でなければ、結果も公平ではありません。
- 学んだことを記録する。 勝者がいなかった場合も同様です。「賞品による差はなかった」というのも有益な結果です。
Scratcherの統計では、各キャンペーンの訪問数、プレイヤー数、登録数、当選者数を、流入元とあわせてほぼリアルタイムで確認できます。AとBは別々のキャンペーンなので、並べて比較できます。Google Analyticsや広告プラットフォームで両方を追跡することも可能です。追跡すべき指標の一覧は、ゲーミフィケーションマーケティングのKPIに関する記事をご覧ください。
テスト記録用テンプレート
すべてのテストをシンプルに記録しておけば、同じテストを繰り返すことなく、チームに知見が蓄積されていきます。次の構成をスプレッドシートにコピーしてご活用ください。
| 項目 | 例 |
|---|---|
| テスト名 | 賞品:割引コード vs 豪華賞品の抽選 |
| 仮説 | 全員への割引コードは、豪華賞品の抽選より登録数が多くなる |
| バージョンA | ルーレット、全員に10%割引コード |
| バージョンB | ルーレット、€500のギフトカード1名様に抽選 |
| 主要指標 | 登録率(登録数÷訪問数) |
| 副次指標 | コード利用数、30日後のメールクリック数 |
| トラフィックの分割 | ニュースレター、ランダムに50/50で分割 |
| 必要なサンプルサイズ | 計算ツールで算出 |
| 開始日と終了日 | [日付] |
| 結果 | [A / B / 明確な差なし] |
| 次のアクション | [判断] |
まずは1つのテストから
始めるのに大がかりなテスト体制は必要ありません。次のキャンペーンで、最も確信が持てない判断(たいていは賞品)を1つ選び、ニュースレターや広告でトラフィックを分けてみましょう。1つのよいテストは、10回の推測より多くのことを教えてくれます。
Webサイト訪問者をコンバージョンにつなげるアイデアをもっと知りたい方は、高コンバージョンのポップアップガイドをお読みいただくか、ゲームポップアップの仕組みをご覧ください。またはScratcherを14日間無料でお試しいただき、今日からバージョンAとBを作成しましょう。
