写点什么

如何提升 3 倍点击?这个 AB 测试告诉你答案

  • 2020-04-08
  • 本文字数:2276 字

    阅读完需:约 7 分钟

如何提升3倍点击?这个AB测试告诉你答案

先告诉你,这次 3 倍增长的案例,所使用的文案是大家都说好的“免费试用”,而原版文案是“立即预约”——你是不是觉得,是因为新版本带有“免费”字眼的文案,肯定比其他文案更吸睛才带来了增长?

不。


自从将 A/B 测试与 AI 引擎结合以来,我们已经使用机器学习引擎对自身的官网做了数次自动化 A/B 测试。同时,我们也在使用引擎同步支持的传统 A/B 测试,对官网的一些项目进行实验,以期用各种方法带来增长。上个月,我们对官网首页的关键按钮进行了一轮优化实验,通过小小的文案修改,竟出乎意料地带来了高达 180%+的点击转化率提升,接近原版的三倍。然而,这却只是表象,其背后暗藏的真正原因更令我们心惊……

分析数据表现,寻找突破口

在 TestinData.AI 的官网首页上,有四个试用按钮,分别在导航栏、首屏中央、客户寄语、页面末端,按钮文字是“立即预约”和“立即预约 TestinData.AI 演示”。


在这个大数据时代,数据驱动增长的理念想必已经为大家所熟知。我们在这个理念的驱动下,对各个按钮转化率的表现数据进行了一番调查。


从数据中我们发现,TestinData.AI 官网的几个按钮中,导航栏和客户寄语部分的按钮点击率,相比于其他两个位置要低。比首屏中央这种黄金位置的点击率低,还能理解;但比页面末端的点击都低,这与我们对其他诸多落地页/官网实验的数据研究结果并不一致,肯定有问题,需要改版。但是,从何下手呢?


原始版本页面截图:


依据猜想,提出假设

在进行改版实验前,对实验元素进行详细的探究,是在做 A/B 测试时的一个好习惯。我们先来看看,为什么会有这么多的按钮,了解一下这么安排的原因:读者的喜好往往存在着不小的区别。由于我们并不知晓用户会浏览到页面的那些部分,或是哪些内容会触及用户痛点、使得用户对我们的 TestinData.AI 产品产生兴趣,所以原始版本中,除了页面关键位置(正中央)有一个大按钮之外,还在导航栏、客户寄语、页面末端设置了三个点击按钮。这不仅方便用户操作,同时还能提高关键按钮的展现次数,提高用户产生点击欲望的可能性。


既然如此,那不如干脆就尝试用别的文案呗,用大家都喜欢的免费这种字眼嘛。所以我们提出了一个假设:如果将导航栏等四个位置的按钮文案,由“立即预约”变为“免费试用”,可能会带来更多的点击。


根据这个假设,我们在新版本中,将按钮上“立即预约”的文案改成“免费试用”,相应的,也将“立即预约 TestinData.AI 演示”按钮文案改成了“免费试用 TestinData.AI 产品”以保持同步。


新版本页面截图:



到这里为止,你可能会认为,对于频繁出现的 CTA(Call to Action,行为召唤,例如按钮等鼓励用户行动的地方)而言,对文案的主题进行修改,将会是一个行之有效并成本较低的改进方案,改成免费,那一定就会带来很多点击了,有啥好测试的呢!(好吧一开始我自己倒是这么想的)


当真?

实施 AB 测试实验

我们的假设是否正确,还需要用客观的实验数据表现来证实。用可视化模式几分钟制作好不同版本后,我们就将实验投到了线上



经过两周的测试,数据的表现结果,果然呈现出了明显差异,根据四个位置按钮数据表现,我们发现在导航栏处,按钮的转化率提升效果最为明显,转化率提升效果高达 183.88%,也就是说,达到原版的接近 3 倍。其次是在页面下方的客户寄语处,按钮的转化率也有提升,上升幅度为 88.02%


然而,更有趣的是,在首屏中央和页面末端,展示完整按钮文案的地方,实验结果却是“没有显著性差异”(p-value 和 power 均不达标)。也就是说,对于页面的访问者而言,“立即预约 TestinData.AI 演示”与“免费试用 TestinData.AI 产品”,并没有本质上的区别(可能还有点下降)


这个截然相反的实验结果,着实是令人诧异。如果说,免费版本真的比试用版本好,为何只在两个小按钮处带来了提升,而在更吸引眼球、文案更详尽的大按钮处,又没有显著区别呢?

解谜:隐藏原因分析

让我们回到提出实验假设的阶段。为什么会有这么多的按钮?为了增加 CTA。本意是很好的,并且数量也控制着没达到令人烦躁的程度,但这个过程却产生了另一个问题:原始版本上的“立即预约”和“立即预约 TestinData.AI 演示”文案,有可能从另一个角度对用户的理解造成干扰:


我们用预约这个概念的本意是,让用户能“立即预约演示”,但由于导航栏上增加的按钮比较小,因此我们无法放置过多的文案,故原始版本写的是立即预约。这么写,却有可能给用户造成“该产品尚未完成,还不能使用”的错觉。这对于有 A/B 测试或自动优化需求的用户而言,显然不能解决燃眉之急。毕竟感兴趣的用户可能更关心产品到底能否使用。


再看一下数据:两个大按钮,文案齐全,假设检验结果却是没有差异,说明“免费试用产品”与“立即预约演示”,这俩文案对于用户的行为并不能产生显著的影响。而两个小按钮,转化率提升分别为+183.88%和+88.02%,这足以证明,原本的“立即预约”,由于表述的含义不完全,确实可能对用户的体验造成了误解、干扰,从而降低了点击欲望;更换为“免费试用”后,不是免费吸引了用户,而是因为表述完整了,规避了误会,因此带来了提升


这既证明了,免费这种字眼,并不是万金油,并不一定能带来提升;也从侧面证明了,文案缩减的后果同样值得关注,因为这样很有可能改变原意,并在不经意间大幅影响你的转化率。


从实验结果来看,证实了我们对原始版本提出的修改方案是可行的,虽然和原假设不符(尴尬),但最终结果是会对我们的转化率产生积极的影响。同时,这个实验还为我们积攒了一个宝贵的经验,为我们其他页面导航栏等小按钮的文案设置,提供了参考。当然,更重要的是,在改版前,还是多做做 A/B 测试,避免无谓的损失,带来更多的转化。


2020-04-08 19:37806

评论

发布
暂无评论
发现更多内容

第一周课程学习总结

Meow

极客大学架构师训练营 第一周总结

极客时间-架构师一期-第一周作业

_

极客时间 架构师 极客大学架构师训练营 第一周命题作业

架构师训练营第一周作业

Erwa

极客大学架构师训练营

第一周 UML图

mm马

食堂就餐卡系统设计

饭桶

架构师训练营 - week1 - 学习总结

month

极客大学架构师训练营

第一周学习总结

jizhi7

极客大学架构师训练营

关于软件建模语言UML总结

solike

极客大学架构师训练营

作业-2020-9-20

芝麻酱

极客大学架构师训练营

架构师训练营 第一周作业

haha

极客大学架构师训练营

读书笔记丨计算机网络和因特网

Liuchengz.

计算机网络

Week_01学习总结

golangboy

极客大学架构师训练营

ARTS Week17

时之虫

架构师训练营-第一周学习总结

戚伟

架构师

食堂就餐卡系统设计

行者

初学架构方法

Zzzz

极客大学架构师训练营

食堂就餐卡系统设计

ABS

UML for Cafeteria System

就餐卡系统设计

golangboy

极客大学架构师训练营

第一周学习总结

饭桶

极客食堂就餐卡系统设计

IT老兵重开始

极客大学架构师训练营 第一周命题作业

架构师方法论

wing

极客大学架构师训练营

UML学习总结

行者

架构师训练营学习笔记

Erwa

第一周学习总结

mm马

极客大学架构师训练营

极客时间架构1期:第1周架构方法-学习总结

Null

「架构师训练营第 1 期」第一周作业(作业一)

Geek_83908e

极客大学架构师训练营

第一周总结

_

极客时间 架构师 极客大学架构师训练营 第一周总结

「架构师训练营第 1 期」第一周作业 (作业二)

Geek_83908e

极客大学架构师训练营

# 架构师训练营Week1作业

lggl

极客大学架构师训练营

week-1-part1 食堂就餐卡系统设计

陈龙

极客大学架构师训练营

如何提升3倍点击?这个AB测试告诉你答案_文化 & 方法_云测数据_InfoQ精选文章