免费工具
A/B 测试计算器
检验两个变体之间的差异是否具有统计显著性,并计算一次测试需要多少访客。免费使用,无需注册,所有公式一目了然。
A/B 测试中的统计显著性是什么意思
在 A/B 测试中,您向两组随机人群分别展示两个版本,并比较各自的转化人数。即使改动毫无作用,变体 B 的转化率也几乎不可能与变体 A 完全相同。关键在于:这个差距是否大于纯粹由偶然造成的差距。
p 值回答的正是这个问题。它表示在两个变体实际表现相同的情况下,观察到至少如此大差异的概率。p 值为 0.036,意味着在没有真实差异的测试中,大约 3.6% 会偶然出现像您这样的差距。如果 p 值低于您设定的阈值(95% 置信水平下为 0.05),该结果即被视为具有统计显著性。
计算器的工作原理
本计算器采用双比例 z 检验。它将两个变体的转化合并,估算出假设没有差异时的预期转化率,据此计算标准误,再用两个转化率之差除以标准误。得出的就是 z 分数:两个转化率相差多少个标准误。p 值则由正态分布求得。
举个例子:变体 A 在 1,000 名访客中获得 100 次转化(10%),变体 B 在 1,000 名访客中获得 130 次转化(13%)。相对提升为 30%,z 分数约为 2.10,双侧 p 值约为 0.036。在 95% 置信水平下 B 显著更优,但在 99% 下则不然。
置信区间显示真实差异可能所在的范围。在上例中,它大约从 +0.2 到 +5.8 个百分点。区间较宽说明测试尚不够精确,即使结果已经显著。
做的是调查而非测试?调查样本量计算器可以告诉您需要多少份回答。
先规划样本量
大多数失败的测试都是因为样本太小。开始之前,先确定值得采取行动的最小变化,并使用测试前工具查看在 80% 功效下每个变体需要多少访客。功效是指当该大小的效应确实存在时,测试能够检测到它的概率。然后持续运行测试直到达到该数量,并以整周为单位运行,确保工作日和周末都涵盖在内。
其他几条原则也很有帮助:
- 一次只测试一项改动,例如奖品、游戏形式或表单字段数量,这样您才知道是什么带来了差异。
- 在测试前选定指标。 注册率、完成率和选择加入率可能朝不同方向变化。
- 不要中途偷看就停止。 p 值一跌破 0.05 就停止,会让假赢家出现得多得多。
我们的游戏化活动 A/B 测试指南介绍了活动中哪些内容值得测试,游戏化营销 KPI 列表可帮助您选择指标。在 Scratcher 中,每个活动的数据都可以在分析中查看。想知道转化率提升能带来多少收益,请使用活动 ROI 计算器。
统计显著性告诉您差异是否可能真实存在,而非差异是否大到足以产生影响。请同时关注提升幅度和置信区间。
A/B 测试计算器免费吗?
是的。您可以免费无限次使用,无需注册账户。您输入的任何内容都不会发送给我们。
p 值多少才算显著?
这取决于您在测试前选定的置信水平。95% 时,p 值低于 0.05 即为显著;90% 时阈值为 0.10;99% 时为 0.01。标准越严格,假赢家越少,但所需访客也越多。
应该使用单侧检验还是双侧检验?
请使用双侧检验,除非您事先已确定只关心 B 是否更好,并且会把 B 更差视同没有差异。单侧检验能更快达到显著,但无法告诉您 B 是否更差。
结果不显著,接下来怎么办?
这表示测试尚未显示出差异,而不是不存在差异。请查看测试前工具:如果访客数远低于所需数量,请继续运行测试;如果已达到计划的样本量,就将两个变体视为效果相当,并测试幅度更大的改动。
为什么计算器会对小样本发出警告?
z 检验依赖一种近似方法,只有当每个变体都有足够的转化数和未转化数(大约各 5 个或以上)时才有效。数据更少时,p 值可能产生误导,请收集更多数据后再做决定。
让下一次抽奖自动完成
在您自己的页面上举办竞赛,收集邮箱和授权同意,并自动为您抽取中奖者。免费试用 14 天,无需信用卡。