写点什么

它不是万金油,却是增长黑客必不可少的鉴别利器

  • 2020-04-08
  • 本文字数:1509 字

    阅读完需:约 5 分钟

它不是万金油,却是增长黑客必不可少的鉴别利器

在 Hacker News 上,有人妄言,A / B 测试已经变成了像万金油一样的存在,以至于夸下海口承诺 A/B 测试将会是提高转换率的灵丹妙药。这个评论困扰着我,不是因为评论者的错误之处(虽然他确实错了),而是因为某些人对 A / B 测试的看法。让我直截了当地说清楚:

#1 A / B 测试并不能“保证”销售和转换的增加

事实上,我们在 Appsumo 的上发表了一篇特邀嘉宾的文章,据他们透露,运行的 8 个 A/B 测试中只有 1 个认可了有改进意义的结果。是的,再看一遍:8 个 A/B 测试测试中只有 1 个有效。万金油能包治百病, A/B 测试显然并不是这样被被神化的存在。



我觉得,有些人会 误以为“A/B 测试就是用来提高销售、提高转化的”,是因为我们发布了很多的 A/B 测试成功案例研究。


事实上,我们的用户数量如此庞大(在写作时已超过 6000 人),我们确实看到许多客户通过 A/B 测试来获得良好的效果。而如果他们想与世界分享这些结果,我们自然会将其发布到我们的博客上。


因此,当我们在某一周发布了一个名为“3 个简单的变化增加了 15%的销售量”这样的的案例研究,下周我们又发布了另一个案例研究“名为 WriteWork.com 如何将销售额增加了 50%”,这自然使人们认为,使用 A / B 测试将确保销售增长


——不,使用 A/B 测试不能保证任何东西。这只是一个控制变量的 测试工具(虽然是一个非常好的工具),但是做实际工作的总是工匠,而不是他/她所使用的工具。这就像揭开了掩盖着“真相”的“幕布”一般。使用者已经做好了新的版本(或是页面),这个新版本对转化的影响是“真相”。可是在发布前,我们都不知道这个“真相”是什么,就好像盖着块“幕布”。A/B 测试则是揭开“幕布”的工具,用来 帮你事先检测这个新版到底是会提高转化,还是会造成降低转化的可怕后果,了解“真相”,进而决定是否发布。没错,A/B 测试并不影响“真相”,真正对转化造成影响的,是使用者的设计,是设计出的新版本本身。

#2 造成误解的原因探索:幸存者偏差

你在互联网上阅读的大多数成功案例或案例研究(不管是关于 A/B 测试、一夜暴富还是减肥、养生鸡汤)都会在无形之中受到一些心理学方面的问题的困扰,如幸存者偏差。在 A / B 测试中,它意味着这样一个很简单的现实:


“如果您运行 100 个不同的 A / B 测试,并且只有其中一个证明新版本可以取得良好的结果,那么您只会发布关于这个好结果的信息,而不会发布其他 99 个被证明是无用的版本更迭的结果。


很显然,若是发布 99 个关于使用 A / B 测试发现版本更迭没有产生任何效果的案例研究,将会让我们的读者感到厌烦,我们也不愿意见到这类负能量充斥网络。

#3 那么为什么要发布 A / B 测试案例研究呢?

首先,我们发布 A / B 测试案例研究的原因是为了展示使用 A / B 测试可以实现的潜力。这与举办毕加索的绘画艺术展相似,通过让人们欣赏作品,刺激人们的艺术细胞。也许会有观看者内心期盼着能达到不错的水准,拿起画笔开始学习作画。重申一下,就像拿画笔和画布不能保证一定能创作精彩的美术作品一样,做 A/B 测试也不能保证销量的增加。


其次,事实上,那些验证了巨大改变的 A/B 测试,其他用户直接复制它们几乎从来没有取得那样的奇效。因此,如果您阅读了类似“如何将转化次数增加 46%”的案例研究,然后在您的站点上依葫芦画瓢儿,希望获得相同的魔术般的增长——那么可能会发生奇迹,也可能啥都不会发生。


因为对他们有效的改变可能并不适合你!


那么,为什么还要发这样的成功案例研究呢?原因如下:


A/B 测试案例研究提供了可以在您的页面或者产品上进行尝试的思路。


是的,展示 A/B 测试的强大潜力,并且提供更多的测试思路 ——这就是 A/B 测试案例研究的意义。


而且,我希望我能提醒你:别误会,A/B 测试并不是万金油!


2020-04-08 19:36743

评论

发布
暂无评论
发现更多内容

小白入门HarmonyOS Connect设备开发的“芯”路历程

HarmonyOS开发者

芯片 HarmonyOS 设备

三级等保是最高的吗?有什么用?

行云管家

网络安全 等保 等保2.0

打造优质的车联网体验,仍需注意数据安全保护

FinClip

云计算及国内主流云厂商概述

穿过生命散发芬芳

3月月更

实用机器学习笔记二十五:超参数优化

打工人!

学习笔记 超参数调优 机器学习算法 3月月更

【IT运维】多台海外主机运维用什么工具好?

行云管家

服务器 IT运维 服务器运维 海外主机

低代码实现探索(三十七)业务的流程,开发的框架

零道云-混合式低代码平台

大数据培训:Hadoop和MPP有什么区别

@零度

hadoop MPP 大数据开发

如何进行数据挖掘?

郑州埃文科技

数据挖掘 数据库

企业知识管理的目标是什么?

小炮

N个技巧,编写更高效 Dockerfile|云效工程师指北

阿里云云效

阿里云 云原生 Dockerfile 部署与维护 构建工具

【直播回顾】OpenHarmony知识赋能第四期直播——标准系统HDF开发

OpenHarmony开发者

直播 HDF OpenHarmony

喜讯!openGauss社区入选2021年 “科创中国”榜单

JavaScript深入理解之闭包

锋享前端

数字化时代下,智能运维全栈监控解决方案及案例盘点

云智慧AIOps社区

运维 解决方案 场景应用 自动化运维 运维安全

Gitlab-ci 替代 webhook 触发Jenkins job

网易云信

gitlab

web前端培训:react高频面试题分享

@零度

前端开发 React

中国AI的下一站:从两会高地奔涌向产业河谷

脑极体

TiDB 可观测性方案落地探索 | “我们这么菜评委不会生气吧”团队访谈

PingCAP

WebRTC 简单入门

ZEGO即构

WebRTC 动手实践 音视频开发 即构科技

java培训:SpringBoot高频面试考点分享

@零度

JAVA开发 springboot

移动域全链路可观测架构和关键技术

阿里巴巴终端技术

架构 App 移动端 体验优化

hexo+github搭建个人博客前期部署工作

静Yu

Hexo

Go HTTP Server 基于OpenTelemetry 使用Jaeger - 代码实操

非晓为骁

Go Docker Trace Jaeger OpenTelemetry

向工程腐化开炮 | Java代码治理

阿里巴巴终端技术

Java android JVM 代码治理

如何使用OKR管理团队?

优秀

浏览器工作原理和V8引擎

CRMEB

【ELT.ZIP】OpenHarmony啃论文俱乐部——多维探秘通用无损压缩

ELT.ZIP

OpenHarmony 压缩算法

ICASSP 2022 | 前沿音视频成果分享:基于可变形卷积的压缩视频质量增强网络

阿里云CloudImagine

阿里云 计算机视觉 音视频 视频编码 视频云

【51单片机】室友用一把王者时间,学会了去使用数码管

謓泽

3月月更

Jaeger docker部署实操

非晓为骁

Docker Jaeger Go 语言 http client

它不是万金油,却是增长黑客必不可少的鉴别利器_文化 & 方法_云测数据_InfoQ精选文章