什么是A/B测试

A/B测试是一种用数据进行产品决策的方法，它用于比较网页或应用程序的两个或多个版本，以确定哪一个版本更好。A/B测试本质上是一个实验机制，其向用户随机显示页面的某一个版本，并通过统计分析确定哪个版本对于设定的转化目标有更好的表现。

通俗一点讲：现在页面上有个按钮是红色的，产品经理想把按钮颜色换成绿色——但是不知道用户反馈怎么样。这个场景下就应该做A/B测试：我们让10%流量的用户使用A版本（红色按钮），10%流量的用户使用B版本（绿色按钮）。如果B版本的用户点击量更多的话，OK，发布B版本吧。如果AB两个版本按钮点击量差不多或者A版本点击量更多的话，那就不用浪费程序猿的时间去上线B版本了。

A/B测试具体可以用在哪些地方

1 获取用户（吸引更多的人使用产品）

2 提高活跃度（引导用户做点什么）

3 提高留存（提升用户粘性）

4 增加收入（想法收钱呗）

5 传播推荐（让产品被更多人知道）

上面的5个步骤就是“AARRR“转化漏斗模型。在这个漏斗中，用户会在被导入之后层层流失，在层层深入中实现最终转化。一个好的产品经理会在产品生命周期中的各个阶段思考是否到达上面的五个目标——而AB测试，正好可以帮上忙。

哪些人会用到A/B测试

产品经理

几乎很少有公司设置增长黑客这个岗位，因此使用A/B测试驱动增长的职责自然落到了产品经理头上。例如，改变一个按钮颜色，更换页面风格（总之就是把产品做成什么样），或者是留存率，转化率这些都是产品经理常常挂在嘴边的。

运营

这里指的运营不是简简单单打个广告，拉条横幅的那种运营。这里指的是用数据驱动增长的增长黑客这类人。

什么样的产品不适合做A/B测试

日活小于1000的产品，不适合做A/B测试。从产品本身来说，似乎没有不适合做A/B测试的。但日活小于1000的产品由于流量基数太小，做A/B测试几乎没什么作用，并且结合需要支付第三方工具的费用来说得不偿失。目前BAT级别公司有自己的A/B测试团队，中型公司用第三方SDK（例如我们Testin的A/B测试），而日活流量较小的公司不太适合A/B测试。

A/B测试与灰度发布是什么关系

如果去问一些产品经理A/B测试是什么，他们可能会说出灰度发布的概念。实际上灰度发布只是A/B测试的一个子功能。

在一个完备的A/B测试中，我们可以灵活地控制不同产品版本的流量分配：例如，我们可以让10%用户用A版本，10%用户用B版本，如果用户在B版本中的点击量、留存率等数据表现更好，那么就可以逐步扩大B版本的流量分配，最终让所有用户都用B版本。

而灰度发布一般来说是在预发步环境中发布新版本，确定功能正常之后再将新版本完整上线。在一个A/B测试系统中，我们完全可以通过控制不同版本的流量分配来完成灰度发布，但是一个灰度发布系统却不能实现A/B测试系统灵活的流量分配及针对不同版本的数据统计功能。

A/B测试的实际案例

例1 页面新增了一个注册表单

国外某公司在新版本上新增了一个注册表单。该公司导入3000多访客流量参与这次A/B测试。最终结果为转化率提升43.85％。

例2 更合适的图片提高了40.18％的转化率

ExactTarget是一家全球性数字营销的SaaS领导者.他们在登录页的内容是吸引人们参加大会，而原始版本的图片是一台笔记本。在新版本里面他们将图片换成了实际大会的场景图片，从而使转化率提高了40.18%。从用户心理的角度分析，笔记本电脑屏幕会给人虚拟会议的印象，而不是现场活动。

例3 免费试用按钮使注册次数增加了158％

GetResponse的首页一开始只有一个购买按钮，他们想新增一个试用按钮提高注册率。但这个方案有可能会降低付费用户的数量，所以试验是冒着一定的风险的。

旧版页面：

新版页面：

最终结果是注册率提高148%，而且购买人数没有降低。

A/B测试中应该注意的一些细节

流量。做A/B测试的用户流量不能太小，一般日活在1000以上；

数据指标。A/B测试需要有具体的、可量化的数据指标，比如“将下个月产品的留存率提高百分之三十”是很具体的A/B测试目标，而“明天是该吃苹果还是吃梨”就不是一个合适的A/B测试目标；

测试的时间周期。一般为一至两个星期，时间太短无法完整覆盖完整的用户的行为习惯；

科学分割流量。分配到每个版本的用户群体在行为特征方面应该保持一致（如果A版本用户用的都是土豪金，B版本都是诺基亚，那试验结果肯定不能说明什么，因为两组人群特征不同）；

不能只看试验结果。还要结合置信区间来判断，例如95%的置信度的前提下，置信区间为[-3%, +5.4%]，说明这个A/B测试的实验有可能使“点击次数”降低3%，也有可能提升5.4%，这个试验的结果是不显著的，在这种情况下我们需要收集更多的用户行为数据，以得到确定性的试验结果。

创作场景

关于 A/B 测试你不得不知道的 7 件事