跳到主要内容
Rex,您的 AI 助手:繁琐工作交给它,创意由您做主 👉 认识 Rex

免费工具

A/B 测试计算器

检验两个变体之间的差异是否具有统计显著性,并计算一次测试需要多少访客。免费使用,无需注册,所有公式一目了然。

变体 A(对照组)
变体 B
测试设置
检验类型

双侧检验判断 B 是否在任一方向上与 A 存在差异;单侧检验只判断 B 是否更好。请在测试开始前做出选择,而不是看到数据之后。

结果

A 的转化率
–
B 的转化率
–
相对提升(B 对比 A)
–
Z 分数
–
P 值
–
–

您的测试需要多少访客?

在测试开始前做好规划。输入您当前的转化率,以及值得您采取行动的最小变化。

此为相对变化:20 表示您希望检测到从 10% 到 12% 的变化。效应越小,所需访客越多。

每个变体所需访客数

–

计算方法

  • 转化率: pA = A 的转化数 ÷ A 的访客数,B 同理
  • 相对提升: (pB − pA) ÷ pA
  • 合并转化率: p = (A 的转化数 + B 的转化数) ÷ (A 的访客数 + B 的访客数)
  • 合并标准误: SE = √(p × (1 − p) × (1 ÷ nA + 1 ÷ nB)),其中 n 为访客数
  • Z 分数: z = (pB − pA) ÷ SE
  • P 值: 双侧为 2 × (1 − Φ(|z|)),单侧为 1 − Φ(z),其中 Φ 为标准正态分布。当 p 值低于 1 − 置信水平时(例如 95% 置信水平下为 0.05),结果即具有显著性。
  • 差异的置信区间: (pB − pA) ± z* × √(pA × (1 − pA) ÷ nA + pB × (1 − pB) ÷ nB),90%、95%、99% 对应的 z* 分别为 1.645、1.960、2.576。该区间使用非合并标准误。
  • 每个变体的访客数: n = (zα × √(2 × p̄ × (1 − p̄)) + zβ × √(p1 × (1 − p1) + p2 × (1 − p2)))² ÷ (p2 − p1)²,其中 p1 为当前转化率,p2 = p1 × (1 + 效应),p̄ = (p1 + p2) ÷ 2,zα = 1.645、1.960 或 2.576,zβ 在 80% 功效下为 0.842,90% 功效下为 1.282。结果向上取整。

本计算器在您的浏览器中运行,您输入的任何内容都不会发送给我们。它采用双比例 z 检验,这是在每个变体都有一定转化量时比较两个转化率的标准方法。请在测试开始前确定样本量,不要在结果刚变得显著时就立即停止:反复查看会增加出现假阳性的概率。

A/B 测试中的统计显著性是什么意思

在 A/B 测试中,您向两组随机人群分别展示两个版本,并比较各自的转化人数。即使改动毫无作用,变体 B 的转化率也几乎不可能与变体 A 完全相同。关键在于:这个差距是否大于纯粹由偶然造成的差距。

p 值回答的正是这个问题。它表示在两个变体实际表现相同的情况下,观察到至少如此大差异的概率。p 值为 0.036,意味着在没有真实差异的测试中,大约 3.6% 会偶然出现像您这样的差距。如果 p 值低于您设定的阈值(95% 置信水平下为 0.05),该结果即被视为具有统计显著性。

计算器的工作原理

本计算器采用双比例 z 检验。它将两个变体的转化合并,估算出假设没有差异时的预期转化率,据此计算标准误,再用两个转化率之差除以标准误。得出的就是 z 分数:两个转化率相差多少个标准误。p 值则由正态分布求得。

举个例子:变体 A 在 1,000 名访客中获得 100 次转化(10%),变体 B 在 1,000 名访客中获得 130 次转化(13%)。相对提升为 30%,z 分数约为 2.10,双侧 p 值约为 0.036。在 95% 置信水平下 B 显著更优,但在 99% 下则不然。

置信区间显示真实差异可能所在的范围。在上例中,它大约从 +0.2 到 +5.8 个百分点。区间较宽说明测试尚不够精确,即使结果已经显著。

做的是调查而非测试?调查样本量计算器可以告诉您需要多少份回答。

先规划样本量

大多数失败的测试都是因为样本太小。开始之前,先确定值得采取行动的最小变化,并使用测试前工具查看在 80% 功效下每个变体需要多少访客。功效是指当该大小的效应确实存在时,测试能够检测到它的概率。然后持续运行测试直到达到该数量,并以整周为单位运行,确保工作日和周末都涵盖在内。

其他几条原则也很有帮助:

  1. 一次只测试一项改动,例如奖品、游戏形式或表单字段数量,这样您才知道是什么带来了差异。
  2. 在测试前选定指标。 注册率、完成率和选择加入率可能朝不同方向变化。
  3. 不要中途偷看就停止。 p 值一跌破 0.05 就停止,会让假赢家出现得多得多。

我们的游戏化活动 A/B 测试指南介绍了活动中哪些内容值得测试,游戏化营销 KPI 列表可帮助您选择指标。在 Scratcher 中,每个活动的数据都可以在分析中查看。想知道转化率提升能带来多少收益,请使用活动 ROI 计算器。

统计显著性告诉您差异是否可能真实存在,而非差异是否大到足以产生影响。请同时关注提升幅度和置信区间。

常见问题

关于 A/B 测试显著性的常见问题

预约会议
A/B 测试计算器免费吗?

是的。您可以免费无限次使用,无需注册账户。您输入的任何内容都不会发送给我们。

p 值多少才算显著?

这取决于您在测试前选定的置信水平。95% 时,p 值低于 0.05 即为显著;90% 时阈值为 0.10;99% 时为 0.01。标准越严格,假赢家越少,但所需访客也越多。

应该使用单侧检验还是双侧检验?

请使用双侧检验,除非您事先已确定只关心 B 是否更好,并且会把 B 更差视同没有差异。单侧检验能更快达到显著,但无法告诉您 B 是否更差。

结果不显著,接下来怎么办?

这表示测试尚未显示出差异,而不是不存在差异。请查看测试前工具:如果访客数远低于所需数量,请继续运行测试;如果已达到计划的样本量,就将两个变体视为效果相当,并测试幅度更大的改动。

为什么计算器会对小样本发出警告?

z 检验依赖一种近似方法,只有当每个变体都有足够的转化数和未转化数(大约各 5 个或以上)时才有效。数据更少时,p 值可能产生误导,请收集更多数据后再做决定。

让下一次抽奖自动完成

在您自己的页面上举办竞赛,收集邮箱和授权同意,并自动为您抽取中奖者。免费试用 14 天,无需信用卡。