コンテンツへスキップ
AI アシスタントの Rex:面倒な作業はおまかせ、アイデアはあなたのもの 👉 Rex のご紹介

無料ツール

A/Bテスト計算ツール

2つのバリアント間の差が統計的に有意かどうかを確認し、テストに必要な訪問者数を算出できます。無料・登録不要で、すべての計算式を公開しています。

バリアントA(コントロール)
バリアントB
テスト設定
検定の種類

両側検定は、BがAとどちらの方向に異なるかを検定します。片側検定は、Bが優れているかどうかだけを検定します。数値を見た後ではなく、テスト開始前に選択してください。

結果

コンバージョン率 A
–
コンバージョン率 B
–
相対改善率(B対A)
–
Zスコア
–
p値
–
–

テストに必要な訪問者数は?

テストは開始前に計画しましょう。現在のコンバージョン率と、施策に踏み切る最小の変化量を入力してください。

相対的な変化量です。20と入力すると、10%から12%への変化を検出したいという意味になります。効果が小さいほど、必要な訪問者数は多くなります。

バリアントあたりの必要訪問者数

–

計算方法

  • コンバージョン率: pA = Aのコンバージョン数 ÷ Aの訪問者数、Bも同様
  • 相対改善率: (pB − pA) ÷ pA
  • プール率: p = (Aのコンバージョン数 + Bのコンバージョン数) ÷ (Aの訪問者数 + Bの訪問者数)
  • プール標準誤差: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB))(nは訪問者数)
  • Zスコア: z = (pB − pA) ÷ SE
  • p値: 両側は 2 × (1 − Φ(|z|))、片側は 1 − Φ(z)(Φは標準正規分布)。p値が「1 − 信頼水準」(例:95%なら0.05)を下回る場合に有意となります。
  • 差の信頼区間: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB)。z*は90%、95%、99%でそれぞれ1.645、1.960、2.576。この区間には非プール標準誤差を使用します。
  • バリアントあたりの訪問者数: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)²。p1は現在のコンバージョン率、p2 = p1 × (1 + effect)、p̄ = (p1 + p2) ÷ 2、zα = 1.645、1.960または2.576、zβは検出力80%で0.842、90%で1.282。結果は切り上げます。

計算はすべてブラウザ上で行われ、入力内容が当社に送信されることはありません。各バリアントに一定数のコンバージョンがある場合に2つのコンバージョン率を比較する標準的な手法である、2標本比率のz検定を使用しています。サンプルサイズはテスト開始前に決め、結果が有意になった瞬間にテストを止めないでください。何度も確認するほど、偽陽性が起こりやすくなります。

A/Bテストにおける統計的有意性とは

A/Bテストでは、2つのバージョンをランダムに分けた2つのグループに表示し、コンバージョン数を比較します。変更にまったく効果がなくても、バリアントBがバリアントAとまったく同じ率になることはほとんどありません。問題は、その差が偶然だけで生じると予想される範囲を超えているかどうかです。

それを判断するのがp値です。p値とは、2つのバリアントの実際の成果が同じだった場合に、少なくともこれだけの差が観測される確率です。p値が0.036であれば、実際には差がないテストのうち約3.6%で、偶然あなたの結果ほどの差が出ることを意味します。p値が閾値(信頼水準95%なら0.05)を下回れば、その結果は統計的に有意とされます。

計算ツールの仕組み

この計算ツールは2標本比率のz検定を使用します。両バリアントのコンバージョンをプールして差がない場合に予想される率を推定し、そこから標準誤差を求め、2つの率の差をその標準誤差で割ります。その結果がZスコア、つまり2つの率が標準誤差何個分離れているかを示す値です。p値は正規分布から求めます。

例:バリアントAは訪問者1,000人中100件のコンバージョン(10%)、バリアントBは1,000人中130件(13%)だったとします。相対改善率は30%、Zスコアは約2.10、両側p値は約0.036です。Bは95%水準では有意に優れていますが、99%水準では有意ではありません。

信頼区間は、真の差がおそらく含まれる範囲を示します。この例では約+0.2〜+5.8ポイントです。有意であっても、区間が広ければテストの精度はまだ十分ではありません。

テストではなくアンケートを実施する場合は、アンケートのサンプルサイズ計算ツールで必要な回答数を確認できます。

まずサンプルサイズを計画する

失敗するテストの多くは、規模が小さすぎることが原因です。開始前に、施策に値する最小の変化量を決め、事前計画ツールで検出力80%のときに各バリアントに必要な訪問者数を確認しましょう。検出力とは、その大きさの効果が実際に存在する場合にテストがそれを検出できる確率です。そのうえで、目標の訪問者数に達するまでテストを続け、平日と週末の両方が含まれるよう週単位で実施してください。

そのほかにも役立つルールがあります:

  1. 一度にテストする変更は1つだけにしましょう。賞品、ゲーム形式、フォームの項目数などを個別にテストすれば、何が差を生んだのかがわかります。
  2. 指標はテスト前に決めましょう。 登録率、完了率、オプトイン率はそれぞれ異なる方向に動くことがあります。
  3. 途中で結果を見て止めないでください。 p値が0.05を下回った途端にテストを止めると、誤った勝者が出る可能性が大幅に高まります。

ゲーミフィケーションキャンペーンのA/Bテストガイドでは、キャンペーンでテストすべき項目を紹介しています。また、ゲーミフィケーションマーケティングのKPI一覧は指標選びに役立ちます。Scratcherでは、各キャンペーンの数値をアナリティクスで確認できます。コンバージョン率の向上が金額にしてどれほどの価値があるかを知るには、キャンペーンROI計算ツールをご利用ください。

統計的有意性は、差が本物である可能性が高いかどうかを示すものであり、その差が意味のある大きさかどうかを示すものではありません。改善率と信頼区間もあわせて確認しましょう。

よくある質問

A/Bテストの有意性に関するよくある質問

ミーティングを予約
A/Bテスト計算ツールは無料ですか?

はい。何度でも無料でご利用いただけ、アカウントも不要です。入力内容が当社に送信されることはありません。

どのくらいのp値なら有意とみなされますか?

テスト前に選ぶ信頼水準によって異なります。95%ならp値0.05未満で有意です。90%なら閾値は0.10、99%なら0.01です。基準を厳しくするほど誤った勝者は減りますが、必要な訪問者数は増えます。

片側検定と両側検定のどちらを使うべきですか?

Bが優れているかどうかだけを重視し、Bが劣る場合も差がない場合と同じように扱うと事前に決めていない限り、両側検定を使用してください。片側検定は早く有意に達しますが、Bが劣っていることは判断できません。

結果が有意になりませんでした。どうすればよいですか?

これはテストで差が示されなかったということであり、差が存在しないという意味ではありません。事前計画ツールを確認し、訪問者数が必要数を大きく下回っている場合はテストを継続してください。計画したサンプルサイズに達している場合は、バリアント間に差はないものとみなし、より大きな変更をテストしましょう。

なぜサンプルが少ないと警告が表示されるのですか?

z検定は近似に基づいており、各バリアントに十分なコンバージョン数と非コンバージョン数(それぞれおおむね5件以上)がある場合にのみ有効です。データが少ないとp値が誤解を招く可能性があるため、判断する前にさらにデータを集めてください。

次の抽選は自動におまかせ

自社ページでキャンペーンを実施し、メールアドレスと同意を収集して、当選者の抽選も自動で行えます。14日間無料でお試しいただけます。クレジットカードは不要です。