無料ツール
A/Bテスト計算ツール
2つのバリアント間の差が統計的に有意かどうかを確認し、テストに必要な訪問者数を算出できます。無料・登録不要で、すべての計算式を公開しています。
A/Bテストにおける統計的有意性とは
A/Bテストでは、2つのバージョンをランダムに分けた2つのグループに表示し、コンバージョン数を比較します。変更にまったく効果がなくても、バリアントBがバリアントAとまったく同じ率になることはほとんどありません。問題は、その差が偶然だけで生じると予想される範囲を超えているかどうかです。
それを判断するのがp値です。p値とは、2つのバリアントの実際の成果が同じだった場合に、少なくともこれだけの差が観測される確率です。p値が0.036であれば、実際には差がないテストのうち約3.6%で、偶然あなたの結果ほどの差が出ることを意味します。p値が閾値(信頼水準95%なら0.05)を下回れば、その結果は統計的に有意とされます。
計算ツールの仕組み
この計算ツールは2標本比率のz検定を使用します。両バリアントのコンバージョンをプールして差がない場合に予想される率を推定し、そこから標準誤差を求め、2つの率の差をその標準誤差で割ります。その結果がZスコア、つまり2つの率が標準誤差何個分離れているかを示す値です。p値は正規分布から求めます。
例:バリアントAは訪問者1,000人中100件のコンバージョン(10%)、バリアントBは1,000人中130件(13%)だったとします。相対改善率は30%、Zスコアは約2.10、両側p値は約0.036です。Bは95%水準では有意に優れていますが、99%水準では有意ではありません。
信頼区間は、真の差がおそらく含まれる範囲を示します。この例では約+0.2〜+5.8ポイントです。有意であっても、区間が広ければテストの精度はまだ十分ではありません。
テストではなくアンケートを実施する場合は、アンケートのサンプルサイズ計算ツールで必要な回答数を確認できます。
まずサンプルサイズを計画する
失敗するテストの多くは、規模が小さすぎることが原因です。開始前に、施策に値する最小の変化量を決め、事前計画ツールで検出力80%のときに各バリアントに必要な訪問者数を確認しましょう。検出力とは、その大きさの効果が実際に存在する場合にテストがそれを検出できる確率です。そのうえで、目標の訪問者数に達するまでテストを続け、平日と週末の両方が含まれるよう週単位で実施してください。
そのほかにも役立つルールがあります:
- 一度にテストする変更は1つだけにしましょう。賞品、ゲーム形式、フォームの項目数などを個別にテストすれば、何が差を生んだのかがわかります。
- 指標はテスト前に決めましょう。 登録率、完了率、オプトイン率はそれぞれ異なる方向に動くことがあります。
- 途中で結果を見て止めないでください。 p値が0.05を下回った途端にテストを止めると、誤った勝者が出る可能性が大幅に高まります。
ゲーミフィケーションキャンペーンのA/Bテストガイドでは、キャンペーンでテストすべき項目を紹介しています。また、ゲーミフィケーションマーケティングのKPI一覧は指標選びに役立ちます。Scratcherでは、各キャンペーンの数値をアナリティクスで確認できます。コンバージョン率の向上が金額にしてどれほどの価値があるかを知るには、キャンペーンROI計算ツールをご利用ください。
統計的有意性は、差が本物である可能性が高いかどうかを示すものであり、その差が意味のある大きさかどうかを示すものではありません。改善率と信頼区間もあわせて確認しましょう。
A/Bテスト計算ツールは無料ですか?
はい。何度でも無料でご利用いただけ、アカウントも不要です。入力内容が当社に送信されることはありません。
どのくらいのp値なら有意とみなされますか?
テスト前に選ぶ信頼水準によって異なります。95%ならp値0.05未満で有意です。90%なら閾値は0.10、99%なら0.01です。基準を厳しくするほど誤った勝者は減りますが、必要な訪問者数は増えます。
片側検定と両側検定のどちらを使うべきですか?
Bが優れているかどうかだけを重視し、Bが劣る場合も差がない場合と同じように扱うと事前に決めていない限り、両側検定を使用してください。片側検定は早く有意に達しますが、Bが劣っていることは判断できません。
結果が有意になりませんでした。どうすればよいですか?
これはテストで差が示されなかったということであり、差が存在しないという意味ではありません。事前計画ツールを確認し、訪問者数が必要数を大きく下回っている場合はテストを継続してください。計画したサンプルサイズに達している場合は、バリアント間に差はないものとみなし、より大きな変更をテストしましょう。
なぜサンプルが少ないと警告が表示されるのですか?
z検定は近似に基づいており、各バリアントに十分なコンバージョン数と非コンバージョン数(それぞれおおむね5件以上)がある場合にのみ有効です。データが少ないとp値が誤解を招く可能性があるため、判断する前にさらにデータを集めてください。
次の抽選は自動におまかせ
自社ページでキャンペーンを実施し、メールアドレスと同意を収集して、当選者の抽選も自動で行えます。14日間無料でお試しいただけます。クレジットカードは不要です。