【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

如何提升 3 倍点击?这个 AB 测试告诉你答案

  • 2020-04-08
  • 本文字数:2276 字

    阅读完需:约 7 分钟

如何提升3倍点击?这个AB测试告诉你答案

先告诉你,这次 3 倍增长的案例,所使用的文案是大家都说好的“免费试用”,而原版文案是“立即预约”——你是不是觉得,是因为新版本带有“免费”字眼的文案,肯定比其他文案更吸睛才带来了增长?

不。


自从将 A/B 测试与 AI 引擎结合以来,我们已经使用机器学习引擎对自身的官网做了数次自动化 A/B 测试。同时,我们也在使用引擎同步支持的传统 A/B 测试,对官网的一些项目进行实验,以期用各种方法带来增长。上个月,我们对官网首页的关键按钮进行了一轮优化实验,通过小小的文案修改,竟出乎意料地带来了高达 180%+的点击转化率提升,接近原版的三倍。然而,这却只是表象,其背后暗藏的真正原因更令我们心惊……

分析数据表现,寻找突破口

在 TestinData.AI 的官网首页上,有四个试用按钮,分别在导航栏、首屏中央、客户寄语、页面末端,按钮文字是“立即预约”和“立即预约 TestinData.AI 演示”。


在这个大数据时代,数据驱动增长的理念想必已经为大家所熟知。我们在这个理念的驱动下,对各个按钮转化率的表现数据进行了一番调查。


从数据中我们发现,TestinData.AI 官网的几个按钮中,导航栏和客户寄语部分的按钮点击率,相比于其他两个位置要低。比首屏中央这种黄金位置的点击率低,还能理解;但比页面末端的点击都低,这与我们对其他诸多落地页/官网实验的数据研究结果并不一致,肯定有问题,需要改版。但是,从何下手呢?


原始版本页面截图:


依据猜想,提出假设

在进行改版实验前,对实验元素进行详细的探究,是在做 A/B 测试时的一个好习惯。我们先来看看,为什么会有这么多的按钮,了解一下这么安排的原因:读者的喜好往往存在着不小的区别。由于我们并不知晓用户会浏览到页面的那些部分,或是哪些内容会触及用户痛点、使得用户对我们的 TestinData.AI 产品产生兴趣,所以原始版本中,除了页面关键位置(正中央)有一个大按钮之外,还在导航栏、客户寄语、页面末端设置了三个点击按钮。这不仅方便用户操作,同时还能提高关键按钮的展现次数,提高用户产生点击欲望的可能性。


既然如此,那不如干脆就尝试用别的文案呗,用大家都喜欢的免费这种字眼嘛。所以我们提出了一个假设:如果将导航栏等四个位置的按钮文案,由“立即预约”变为“免费试用”,可能会带来更多的点击。


根据这个假设,我们在新版本中,将按钮上“立即预约”的文案改成“免费试用”,相应的,也将“立即预约 TestinData.AI 演示”按钮文案改成了“免费试用 TestinData.AI 产品”以保持同步。


新版本页面截图:



到这里为止,你可能会认为,对于频繁出现的 CTA(Call to Action,行为召唤,例如按钮等鼓励用户行动的地方)而言,对文案的主题进行修改,将会是一个行之有效并成本较低的改进方案,改成免费,那一定就会带来很多点击了,有啥好测试的呢!(好吧一开始我自己倒是这么想的)


当真?

实施 AB 测试实验

我们的假设是否正确,还需要用客观的实验数据表现来证实。用可视化模式几分钟制作好不同版本后,我们就将实验投到了线上



经过两周的测试,数据的表现结果,果然呈现出了明显差异,根据四个位置按钮数据表现,我们发现在导航栏处,按钮的转化率提升效果最为明显,转化率提升效果高达 183.88%,也就是说,达到原版的接近 3 倍。其次是在页面下方的客户寄语处,按钮的转化率也有提升,上升幅度为 88.02%


然而,更有趣的是,在首屏中央和页面末端,展示完整按钮文案的地方,实验结果却是“没有显著性差异”(p-value 和 power 均不达标)。也就是说,对于页面的访问者而言,“立即预约 TestinData.AI 演示”与“免费试用 TestinData.AI 产品”,并没有本质上的区别(可能还有点下降)


这个截然相反的实验结果,着实是令人诧异。如果说,免费版本真的比试用版本好,为何只在两个小按钮处带来了提升,而在更吸引眼球、文案更详尽的大按钮处,又没有显著区别呢?

解谜:隐藏原因分析

让我们回到提出实验假设的阶段。为什么会有这么多的按钮?为了增加 CTA。本意是很好的,并且数量也控制着没达到令人烦躁的程度,但这个过程却产生了另一个问题:原始版本上的“立即预约”和“立即预约 TestinData.AI 演示”文案,有可能从另一个角度对用户的理解造成干扰:


我们用预约这个概念的本意是,让用户能“立即预约演示”,但由于导航栏上增加的按钮比较小,因此我们无法放置过多的文案,故原始版本写的是立即预约。这么写,却有可能给用户造成“该产品尚未完成,还不能使用”的错觉。这对于有 A/B 测试或自动优化需求的用户而言,显然不能解决燃眉之急。毕竟感兴趣的用户可能更关心产品到底能否使用。


再看一下数据:两个大按钮,文案齐全,假设检验结果却是没有差异,说明“免费试用产品”与“立即预约演示”,这俩文案对于用户的行为并不能产生显著的影响。而两个小按钮,转化率提升分别为+183.88%和+88.02%,这足以证明,原本的“立即预约”,由于表述的含义不完全,确实可能对用户的体验造成了误解、干扰,从而降低了点击欲望;更换为“免费试用”后,不是免费吸引了用户,而是因为表述完整了,规避了误会,因此带来了提升


这既证明了,免费这种字眼,并不是万金油,并不一定能带来提升;也从侧面证明了,文案缩减的后果同样值得关注,因为这样很有可能改变原意,并在不经意间大幅影响你的转化率。


从实验结果来看,证实了我们对原始版本提出的修改方案是可行的,虽然和原假设不符(尴尬),但最终结果是会对我们的转化率产生积极的影响。同时,这个实验还为我们积攒了一个宝贵的经验,为我们其他页面导航栏等小按钮的文案设置,提供了参考。当然,更重要的是,在改版前,还是多做做 A/B 测试,避免无谓的损失,带来更多的转化。


2020-04-08 19:37582

评论

发布
暂无评论
发现更多内容

Nebula Graph 源码解读系列 | Vol.00 序言

NebulaGraph

图数据库 源码解读 分布式图数据库

IOS技术分享| 在iOS WebRTC 中添加美颜滤镜

anyRTC开发者

音视频 WebRTC 视频通话 ios技术分享 美颜

mycat入门:简介和安装

小鲍侃java

9月日更

VSCode配置JAVA开发环境

IT蜗壳-Tango

Java 9月日更

Lua 入门到精通( 02 Lua 基本语法)《做一个脚本高手》

陈皮的JavaLib

lua Linux 运维 8月日更

智汇华云 | 混合IT下的云管理套件核心技术解析

华云数据

【重磅】微信开源PhxSQL:高可用、强一致的MySQL集群

OpenIM

华为云数据库内核专家为您揭秘:GaussDB(for MySQL)并行查询有多快?

华为云开发者联盟

MySQL 关系型数据库 华为云数据库 GaussDB(for MySQL) 并行查询

Vue进阶(八十七):输入框事件 blur 与 change 的差异

No Silver Bullet

Vue 9月日更

华云大咖说 | 混合IT架构的统一管理——安超云套件产品介绍

华云数据

Promise.any() 原理解析及使用指南

devpoint

Promise 9月日更

华为云严选上新啦!高效准确的数据同步方案来了

华为云开发者联盟

数据库 华为云 数据同步 英方软件 严选商城

自动化测试框架指南

FunTester

自动化测试 测试框架 数据驱动 FunTester 测试自动化

POM 文件中 licenses 许可证的定义

HoneyMoose

接口测试要测试什么?

与风逐梦

软件测试 接口测试

Tapdata 在线研讨会:实时数据同步应用场景及实现方案探讨

tapdata

MySQL oracle mongodb

【Flutter 专题】60 图解基本 Dialog 对话框小结

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

Apache Pulsar 新增 2 位 PMC 成员:林琳与陈航

Apache Pulsar

腾讯云 Apache Pulsar

9月日更挑战正式开始啦~

InfoQ写作社区官方

9月日更 热门活动

有迹可循之CheckList

编号94530

Code Review 架构设计 checklist

4种Golang并发操作中常见的死锁情形

华为云开发者联盟

缓存 协程 并发 死锁 Go 语言

String split()方法踩坑

梁小航航

string

Week2 Homework

Ray_c

#架构实战营

接口测试进阶接口脚本使用--apipost(预/后执行脚本)

Proud lion

大前端 后端 Postman 开发工具 接口文档

智汇华云 | ArSDN之分布式路由及浮动IP简介

华云数据

华云大咖说 | 对象存储在金融行业的应用

华云数据

深入了解现代web浏览器(第三部分)

GKNick

职场奇袭!3分钟完成一天工作

博文视点Broadview

webpack5之HMR原理探究

rayyang00

大前端 webpack

为了让医院把医护还给患者,他们用了这个….

华为云开发者联盟

数字化转型 医院 华为云 devcloud 全流程一体化

去中心化钱包开发,imtoken钱包开发

如何提升3倍点击?这个AB测试告诉你答案_文化 & 方法_云测数据_InfoQ精选文章