NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

如何提升 3 倍点击?这个 AB 测试告诉你答案

  • 2020-04-08
  • 本文字数:2276 字

    阅读完需:约 7 分钟

如何提升3倍点击?这个AB测试告诉你答案

先告诉你,这次 3 倍增长的案例,所使用的文案是大家都说好的“免费试用”,而原版文案是“立即预约”——你是不是觉得,是因为新版本带有“免费”字眼的文案,肯定比其他文案更吸睛才带来了增长?

不。


自从将 A/B 测试与 AI 引擎结合以来,我们已经使用机器学习引擎对自身的官网做了数次自动化 A/B 测试。同时,我们也在使用引擎同步支持的传统 A/B 测试,对官网的一些项目进行实验,以期用各种方法带来增长。上个月,我们对官网首页的关键按钮进行了一轮优化实验,通过小小的文案修改,竟出乎意料地带来了高达 180%+的点击转化率提升,接近原版的三倍。然而,这却只是表象,其背后暗藏的真正原因更令我们心惊……

分析数据表现,寻找突破口

在 TestinData.AI 的官网首页上,有四个试用按钮,分别在导航栏、首屏中央、客户寄语、页面末端,按钮文字是“立即预约”和“立即预约 TestinData.AI 演示”。


在这个大数据时代,数据驱动增长的理念想必已经为大家所熟知。我们在这个理念的驱动下,对各个按钮转化率的表现数据进行了一番调查。


从数据中我们发现,TestinData.AI 官网的几个按钮中,导航栏和客户寄语部分的按钮点击率,相比于其他两个位置要低。比首屏中央这种黄金位置的点击率低,还能理解;但比页面末端的点击都低,这与我们对其他诸多落地页/官网实验的数据研究结果并不一致,肯定有问题,需要改版。但是,从何下手呢?


原始版本页面截图:


依据猜想,提出假设

在进行改版实验前,对实验元素进行详细的探究,是在做 A/B 测试时的一个好习惯。我们先来看看,为什么会有这么多的按钮,了解一下这么安排的原因:读者的喜好往往存在着不小的区别。由于我们并不知晓用户会浏览到页面的那些部分,或是哪些内容会触及用户痛点、使得用户对我们的 TestinData.AI 产品产生兴趣,所以原始版本中,除了页面关键位置(正中央)有一个大按钮之外,还在导航栏、客户寄语、页面末端设置了三个点击按钮。这不仅方便用户操作,同时还能提高关键按钮的展现次数,提高用户产生点击欲望的可能性。


既然如此,那不如干脆就尝试用别的文案呗,用大家都喜欢的免费这种字眼嘛。所以我们提出了一个假设:如果将导航栏等四个位置的按钮文案,由“立即预约”变为“免费试用”,可能会带来更多的点击。


根据这个假设,我们在新版本中,将按钮上“立即预约”的文案改成“免费试用”,相应的,也将“立即预约 TestinData.AI 演示”按钮文案改成了“免费试用 TestinData.AI 产品”以保持同步。


新版本页面截图:



到这里为止,你可能会认为,对于频繁出现的 CTA(Call to Action,行为召唤,例如按钮等鼓励用户行动的地方)而言,对文案的主题进行修改,将会是一个行之有效并成本较低的改进方案,改成免费,那一定就会带来很多点击了,有啥好测试的呢!(好吧一开始我自己倒是这么想的)


当真?

实施 AB 测试实验

我们的假设是否正确,还需要用客观的实验数据表现来证实。用可视化模式几分钟制作好不同版本后,我们就将实验投到了线上



经过两周的测试,数据的表现结果,果然呈现出了明显差异,根据四个位置按钮数据表现,我们发现在导航栏处,按钮的转化率提升效果最为明显,转化率提升效果高达 183.88%,也就是说,达到原版的接近 3 倍。其次是在页面下方的客户寄语处,按钮的转化率也有提升,上升幅度为 88.02%


然而,更有趣的是,在首屏中央和页面末端,展示完整按钮文案的地方,实验结果却是“没有显著性差异”(p-value 和 power 均不达标)。也就是说,对于页面的访问者而言,“立即预约 TestinData.AI 演示”与“免费试用 TestinData.AI 产品”,并没有本质上的区别(可能还有点下降)


这个截然相反的实验结果,着实是令人诧异。如果说,免费版本真的比试用版本好,为何只在两个小按钮处带来了提升,而在更吸引眼球、文案更详尽的大按钮处,又没有显著区别呢?

解谜:隐藏原因分析

让我们回到提出实验假设的阶段。为什么会有这么多的按钮?为了增加 CTA。本意是很好的,并且数量也控制着没达到令人烦躁的程度,但这个过程却产生了另一个问题:原始版本上的“立即预约”和“立即预约 TestinData.AI 演示”文案,有可能从另一个角度对用户的理解造成干扰:


我们用预约这个概念的本意是,让用户能“立即预约演示”,但由于导航栏上增加的按钮比较小,因此我们无法放置过多的文案,故原始版本写的是立即预约。这么写,却有可能给用户造成“该产品尚未完成,还不能使用”的错觉。这对于有 A/B 测试或自动优化需求的用户而言,显然不能解决燃眉之急。毕竟感兴趣的用户可能更关心产品到底能否使用。


再看一下数据:两个大按钮,文案齐全,假设检验结果却是没有差异,说明“免费试用产品”与“立即预约演示”,这俩文案对于用户的行为并不能产生显著的影响。而两个小按钮,转化率提升分别为+183.88%和+88.02%,这足以证明,原本的“立即预约”,由于表述的含义不完全,确实可能对用户的体验造成了误解、干扰,从而降低了点击欲望;更换为“免费试用”后,不是免费吸引了用户,而是因为表述完整了,规避了误会,因此带来了提升


这既证明了,免费这种字眼,并不是万金油,并不一定能带来提升;也从侧面证明了,文案缩减的后果同样值得关注,因为这样很有可能改变原意,并在不经意间大幅影响你的转化率。


从实验结果来看,证实了我们对原始版本提出的修改方案是可行的,虽然和原假设不符(尴尬),但最终结果是会对我们的转化率产生积极的影响。同时,这个实验还为我们积攒了一个宝贵的经验,为我们其他页面导航栏等小按钮的文案设置,提供了参考。当然,更重要的是,在改版前,还是多做做 A/B 测试,避免无谓的损失,带来更多的转化。


2020-04-08 19:37586

评论

发布
暂无评论
发现更多内容

🔎【Java 源码探索】深入浅出的分析Mutex底层源码

洛神灬殇

Java JVM mutex Condition 5月日更

Geek 青年说北京沙龙分享

看山

Geek青年说

并发王者课-青铜8:分工协作-从本质认知线程的状态和动作方法

MetaThoughts

Java 多线程 并发 并发王者课

带你看懂MySQL执行计划

Simon

MySQL 执行计划

带你读论文丨异常检测算法及发展趋势分析

华为云开发者联盟

深度学习 异常检测算法 深度异常检测算法 深度半监督 群体异常检测

JWT(auth0):RS256非对称加密算法实现Token的签发、验证

西门阿杰

Java Token RS256

个推“D-M-P”三步走, 打造每日治数平台,助力行业数字化升级

个推

大数据 数据中台 数据治理 数据智能

阿里面试题:MySQL 磁盘满了,怎么办?

Java架构师迁哥

日常Bug排查-系统失去响应-Redis使用不当

无毁的湖光

Java redis

非官方不权威Java面试宝典

北游学Java

Java 面试

6月日更,优质更文,“定制”来袭~

InfoQ写作社区官方

6月日更 热门活动

和12岁小同志搞创客开发:如何选择合适的传感器?

不脱发的程序猿

DIY 传感器 创客开发 如何选择合适的传感器?

Spring 实例化方式有几种?为什么会用到 Cglib?

小傅哥

Java spring 小傅哥 cglib 手写框架

知乎的一次29.7元的咨询

why技术

Java 程序员

OpenResty入门

捉虫大师

nginx openresty

高并发存储优化篇:诸多策略,缓存为王

Coder的技术之路

缓存 缓存击穿 缓存雪崩 缓存架构

震惊,PostGIS还可以这样用!!!

华为云开发者联盟

数据库 分布式 GaussDB 地理数据库 PostGIS

Java程序员简历这么写,还过不了筛选算我输!

Java架构师迁哥

怎样节省 2/3 的 GPU?爱奇艺 vGPU 的探索与实践

爱奇艺技术产品团队

深度学习 gpu

如何优化你的HTTPS?

运维研习社

https HTTP2.0 5月日更

鸿蒙操作系统发布在即 万物互联时代将给开发者带来更多机遇

科技汇

长连接网关技术专题(五):喜马拉雅自研亿级API网关技术实践

JackJiang

Netty nio 网关

QCon 演讲实录 | 大型软件团队的数字化项目管理实践

万事ONES

研发管理 团队协作 数字化 ONES Qcon

SphereEx 获数百万美元天使融资,接力 ShardingSphere 开启 Database Plus 新篇章

SphereEx

.Net Core Configuration Etcd数据源

yi念之间

etcd .net core

react源码解析1.开篇介绍和面试题

全栈潇晨

React React Hooks react源码

六一特辑丨8岁小程序员献礼儿童节:我DIY了聊天机器人,做3D printer,还想和外星人对话!

华为云开发者联盟

编程 程序员 开发者 代码 机器人

华云大咖说 | 华云数据助力高校建设实训室平台

华云数据

千亿级数据迁移mongodb成本节省及性能优化实践

杨亚洲(专注MongoDB及高性能中间件)

MySQL 数据库 mongodb 架构 分布式数据库mongodb

重庆区块链公共服务平台—“渝快链”2.0正式发布

浪潮云

开发人员应该害怕低代码吗?

禅道项目管理

程序员 低代码 开发 低代码平台

如何提升3倍点击?这个AB测试告诉你答案_文化 & 方法_云测数据_InfoQ精选文章