写点什么

如何提升 3 倍点击?这个 AB 测试告诉你答案

  • 2020-04-08
  • 本文字数:2276 字

    阅读完需:约 7 分钟

如何提升3倍点击?这个AB测试告诉你答案

先告诉你,这次 3 倍增长的案例,所使用的文案是大家都说好的“免费试用”,而原版文案是“立即预约”——你是不是觉得,是因为新版本带有“免费”字眼的文案,肯定比其他文案更吸睛才带来了增长?

不。


自从将 A/B 测试与 AI 引擎结合以来,我们已经使用机器学习引擎对自身的官网做了数次自动化 A/B 测试。同时,我们也在使用引擎同步支持的传统 A/B 测试,对官网的一些项目进行实验,以期用各种方法带来增长。上个月,我们对官网首页的关键按钮进行了一轮优化实验,通过小小的文案修改,竟出乎意料地带来了高达 180%+的点击转化率提升,接近原版的三倍。然而,这却只是表象,其背后暗藏的真正原因更令我们心惊……

分析数据表现,寻找突破口

在 TestinData.AI 的官网首页上,有四个试用按钮,分别在导航栏、首屏中央、客户寄语、页面末端,按钮文字是“立即预约”和“立即预约 TestinData.AI 演示”。


在这个大数据时代,数据驱动增长的理念想必已经为大家所熟知。我们在这个理念的驱动下,对各个按钮转化率的表现数据进行了一番调查。


从数据中我们发现,TestinData.AI 官网的几个按钮中,导航栏和客户寄语部分的按钮点击率,相比于其他两个位置要低。比首屏中央这种黄金位置的点击率低,还能理解;但比页面末端的点击都低,这与我们对其他诸多落地页/官网实验的数据研究结果并不一致,肯定有问题,需要改版。但是,从何下手呢?


原始版本页面截图:


依据猜想,提出假设

在进行改版实验前,对实验元素进行详细的探究,是在做 A/B 测试时的一个好习惯。我们先来看看,为什么会有这么多的按钮,了解一下这么安排的原因:读者的喜好往往存在着不小的区别。由于我们并不知晓用户会浏览到页面的那些部分,或是哪些内容会触及用户痛点、使得用户对我们的 TestinData.AI 产品产生兴趣,所以原始版本中,除了页面关键位置(正中央)有一个大按钮之外,还在导航栏、客户寄语、页面末端设置了三个点击按钮。这不仅方便用户操作,同时还能提高关键按钮的展现次数,提高用户产生点击欲望的可能性。


既然如此,那不如干脆就尝试用别的文案呗,用大家都喜欢的免费这种字眼嘛。所以我们提出了一个假设:如果将导航栏等四个位置的按钮文案,由“立即预约”变为“免费试用”,可能会带来更多的点击。


根据这个假设,我们在新版本中,将按钮上“立即预约”的文案改成“免费试用”,相应的,也将“立即预约 TestinData.AI 演示”按钮文案改成了“免费试用 TestinData.AI 产品”以保持同步。


新版本页面截图:



到这里为止,你可能会认为,对于频繁出现的 CTA(Call to Action,行为召唤,例如按钮等鼓励用户行动的地方)而言,对文案的主题进行修改,将会是一个行之有效并成本较低的改进方案,改成免费,那一定就会带来很多点击了,有啥好测试的呢!(好吧一开始我自己倒是这么想的)


当真?

实施 AB 测试实验

我们的假设是否正确,还需要用客观的实验数据表现来证实。用可视化模式几分钟制作好不同版本后,我们就将实验投到了线上



经过两周的测试,数据的表现结果,果然呈现出了明显差异,根据四个位置按钮数据表现,我们发现在导航栏处,按钮的转化率提升效果最为明显,转化率提升效果高达 183.88%,也就是说,达到原版的接近 3 倍。其次是在页面下方的客户寄语处,按钮的转化率也有提升,上升幅度为 88.02%


然而,更有趣的是,在首屏中央和页面末端,展示完整按钮文案的地方,实验结果却是“没有显著性差异”(p-value 和 power 均不达标)。也就是说,对于页面的访问者而言,“立即预约 TestinData.AI 演示”与“免费试用 TestinData.AI 产品”,并没有本质上的区别(可能还有点下降)


这个截然相反的实验结果,着实是令人诧异。如果说,免费版本真的比试用版本好,为何只在两个小按钮处带来了提升,而在更吸引眼球、文案更详尽的大按钮处,又没有显著区别呢?

解谜:隐藏原因分析

让我们回到提出实验假设的阶段。为什么会有这么多的按钮?为了增加 CTA。本意是很好的,并且数量也控制着没达到令人烦躁的程度,但这个过程却产生了另一个问题:原始版本上的“立即预约”和“立即预约 TestinData.AI 演示”文案,有可能从另一个角度对用户的理解造成干扰:


我们用预约这个概念的本意是,让用户能“立即预约演示”,但由于导航栏上增加的按钮比较小,因此我们无法放置过多的文案,故原始版本写的是立即预约。这么写,却有可能给用户造成“该产品尚未完成,还不能使用”的错觉。这对于有 A/B 测试或自动优化需求的用户而言,显然不能解决燃眉之急。毕竟感兴趣的用户可能更关心产品到底能否使用。


再看一下数据:两个大按钮,文案齐全,假设检验结果却是没有差异,说明“免费试用产品”与“立即预约演示”,这俩文案对于用户的行为并不能产生显著的影响。而两个小按钮,转化率提升分别为+183.88%和+88.02%,这足以证明,原本的“立即预约”,由于表述的含义不完全,确实可能对用户的体验造成了误解、干扰,从而降低了点击欲望;更换为“免费试用”后,不是免费吸引了用户,而是因为表述完整了,规避了误会,因此带来了提升


这既证明了,免费这种字眼,并不是万金油,并不一定能带来提升;也从侧面证明了,文案缩减的后果同样值得关注,因为这样很有可能改变原意,并在不经意间大幅影响你的转化率。


从实验结果来看,证实了我们对原始版本提出的修改方案是可行的,虽然和原假设不符(尴尬),但最终结果是会对我们的转化率产生积极的影响。同时,这个实验还为我们积攒了一个宝贵的经验,为我们其他页面导航栏等小按钮的文案设置,提供了参考。当然,更重要的是,在改版前,还是多做做 A/B 测试,避免无谓的损失,带来更多的转化。


2020-04-08 19:37868

评论

发布
暂无评论
发现更多内容

面试官:线程是如何通讯的?

王磊

java面试

NFTScan 团队发布升级版 NFT Portfolio 产品

NFT Research

NFT\

代码随想录 Day37 - 贪心算法(六)

jjn0703

分布式流处理组件-生产实战:Broker副本与优化

谢先生F

kafka 架构 broker

数字孪生in电力终端:高效虚拟环境实现测试“左移”

DevOps和数字孪生

数字孪生 虚拟测试

TiDB Serverless 正式商用,全托管的云服务带来数据管理和应用程序开发的全新体验

PingCAP

MySQL 云服务 TiDB pingCAP TiDB Serverless

第五届宁波市卫生健康系统信息化技能竞赛暨赛前培训成功举办 平凯星辰受邀授课

PingCAP

数据库 TiDB 平凯星辰

唐刘:TiDB 研发工程实践及 TiDB 人才观丨CCF 中国数据库暑期学校

PingCAP

数据库 TiDB pingCAP

基于Vue3的数据可视化低代码平台

互联网工科生

Vue 低代码 vue3.0 JNPF

QuickBI提供数据可视化分析功能的工具,企业免费使用

夜雨微澜

极狐GitLab 10 年开源研发管理实践:4 个核心步骤突破效能瓶颈

极狐GitLab

gitlab 研发效能 DevSecOps 研发效率 效能实践

高质量代码究竟依赖设计还是重构而来?

CODING DevOps

erp企业管理系统软件哪个最好用?

优秀

ERP系统 ERP软件

字节码增强常见问题系列(二)| 兼容性难题:如何让不同字节码增强框架和谐共存?

华为云开源

字节码增强 sermant

如何使用三台虚拟机搭建一个kubernetes集群?

数新网络官方账号

Kubernetes, 云原生, eBPF

从零开始学极狐GitLab|02 基本功能使用

极狐GitLab

DevOps gitlab 用户管理 项目创建 群组创建

极狐GitLab 全新「价值流仪表盘」使用指南

极狐GitLab

DevOps gitlab DevSecOps DORA 价值流仪表盘

Sprint Boot学习路线5

小万哥

Java spring 微服务 springboot SpringCloud

10个学习JavaScript的理由

互联网工科生

JavaScript 学习 前端 编程语言

vpay数字货币钱包系统开发(Imtoken、TP)

薇電13242772558

数字钱包

百度飞桨助力高校培养AI大模型人才,2023年飞桨产学合作项目申报启动

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

途游游戏 x 极狐GitLab “通关” DevOps :单元测试从无到优,覆盖率 0→80%

极狐GitLab

DevOps gitlab Code Review DevSecOps 途游游戏

亚信科技AntDB数据库专家出席数据库标准研讨会并参与研讨

亚信AntDB数据库

数据库 AntDB AntDB数据库 企业号 8 月 PK 榜

如何提升3倍点击?这个AB测试告诉你答案_文化 & 方法_云测数据_InfoQ精选文章