---
title: "A/B 测试计算器：统计显著性计算器"
description: "免费 A/B 测试计算器。输入 A 和 B 的访客数与转化数，即可得出 p 值、提升幅度和置信区间，以及所需的样本量。"
url: https://scratcher.io/zh/ab-test-calculator
language: zh-Hans
---

免费工具

# A/B 测试计算器

检验两个变体之间的差异是否具有统计显著性，并计算一次测试需要多少访客。免费使用，无需注册，所有公式一目了然。

## A/B 测试中的统计显著性是什么意思

在 A/B 测试中，您向两组随机人群分别展示两个版本，并比较各自的转化人数。即使改动毫无作用，变体 B 的转化率也几乎不可能与变体 A 完全相同。关键在于：这个差距是否大于纯粹由偶然造成的差距。

p 值回答的正是这个问题。它表示在两个变体实际表现相同的情况下，观察到至少如此大差异的概率。p 值为 0.036，意味着在没有真实差异的测试中，大约 3.6% 会偶然出现像您这样的差距。如果 p 值低于您设定的阈值（95% 置信水平下为 0.05），该结果即被视为具有统计显著性。

## 计算器的工作原理

本计算器采用双比例 z 检验。它将两个变体的转化合并，估算出假设没有差异时的预期转化率，据此计算标准误，再用两个转化率之差除以标准误。得出的就是 z 分数：两个转化率相差多少个标准误。p 值则由正态分布求得。

举个例子：变体 A 在 1,000 名访客中获得 100 次转化（10%），变体 B 在 1,000 名访客中获得 130 次转化（13%）。相对提升为 30%，z 分数约为 2.10，双侧 p 值约为 0.036。在 95% 置信水平下 B 显著更优，但在 99% 下则不然。

置信区间显示真实差异可能所在的范围。在上例中，它大约从 +0.2 到 +5.8 个百分点。区间较宽说明测试尚不够精确，即使结果已经显著。

做的是调查而非测试？[调查样本量计算器](https://scratcher.io/zh/survey-sample-size-calculator)可以告诉您需要多少份回答。

## 先规划样本量

大多数失败的测试都是因为样本太小。开始之前，先确定值得采取行动的最小变化，并使用测试前工具查看在 80% 功效下每个变体需要多少访客。功效是指当该大小的效应确实存在时，测试能够检测到它的概率。然后持续运行测试直到达到该数量，并以整周为单位运行，确保工作日和周末都涵盖在内。

其他几条原则也很有帮助：

1. **一次只测试一项改动**，例如奖品、游戏形式或表单字段数量，这样您才知道是什么带来了差异。
2. **在测试前选定指标。** 注册率、完成率和选择加入率可能朝不同方向变化。
3. **不要中途偷看就停止。** p 值一跌破 0.05 就停止，会让假赢家出现得多得多。

我们的[游戏化活动 A/B 测试](https://scratcher.io/zh/blog/ab-test-gamified-campaign)指南介绍了活动中哪些内容值得测试，[游戏化营销 KPI](https://scratcher.io/zh/blog/top-gamification-marketing-kpis) 列表可帮助您选择指标。在 Scratcher 中，每个活动的数据都可以在[分析](https://scratcher.io/zh/platform/analytics)中查看。想知道转化率提升能带来多少收益，请使用[活动 ROI 计算器](https://scratcher.io/zh/campaign-roi-calculator)。

*统计显著性告诉您差异是否可能真实存在，而非差异是否大到足以产生影响。请同时关注提升幅度和置信区间。*

常见问题

## 关于 A/B 测试显著性的常见问题

[预约会议](https://scratcher.io/zh/book-a-meeting)

### A/B 测试计算器免费吗？

是的。您可以免费无限次使用，无需注册账户。您输入的任何内容都不会发送给我们。

### p 值多少才算显著？

这取决于您在测试前选定的置信水平。95% 时，p 值低于 0.05 即为显著；90% 时阈值为 0.10；99% 时为 0.01。标准越严格，假赢家越少，但所需访客也越多。

### 应该使用单侧检验还是双侧检验？

请使用双侧检验，除非您事先已确定只关心 B 是否更好，并且会把 B 更差视同没有差异。单侧检验能更快达到显著，但无法告诉您 B 是否更差。

### 结果不显著，接下来怎么办？

这表示测试尚未显示出差异，而不是不存在差异。请查看测试前工具：如果访客数远低于所需数量，请继续运行测试；如果已达到计划的样本量，就将两个变体视为效果相当，并测试幅度更大的改动。

### 为什么计算器会对小样本发出警告？

z 检验依赖一种近似方法，只有当每个变体都有足够的转化数和未转化数（大约各 5 个或以上）时才有效。数据更少时，p 值可能产生误导，请收集更多数据后再做决定。

## 让下一次抽奖自动完成

在您自己的页面上举办竞赛，收集邮箱和授权同意，并自动为您抽取中奖者。免费试用 14 天，无需信用卡。

[开始免费试用](https://platform.scratcher.io/zh-Hans/register) [预约会议](https://scratcher.io/zh/book-a-meeting)
