写点什么

独角兽 Duolingo 是如何用 A/B 测试增长到 2 亿用户的?(一)

  • 2020-04-05
  • 本文字数:1536 字

    阅读完需:约 5 分钟

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)

Duolingo(多邻国)是一个免费为全球用户提供外语教育的公司,至今他们已有 2 亿活跃用户,提供超过 40 种语言的教育课程。通常情况下,负责 Duolingo 增长的副总裁 Gotthilf 的团队至少有 5 个以上的 A/B 测试实验在 App 中同时进行。通过不断对 App 的前端展示,消息通知以及文案进行 A/B 测试,Gotthilf 见证了 Duolingo 的用户数从 3 百万到 20 亿的增长全过程。本文会分享 Duolingo 做过的 4 个关键的 A/B 测试,以及 Duolingo 在进行 A/B 测试过程中的经验。

1:延迟注册

问题


几年前,多邻国开始解决一个对于初创 App 最为生死攸关的问题:是什么引起了漏斗模型中最顶层的用户流失(例如注册环节)?该如何阻止这一情况?


实验


“我们发现,下载、访问多邻国 App 的用户中,成为注册用户的数量大幅下降。很明显,用户的注册是很重要的行为——这说明他们将会再次回访 App,而且这个动作也表明我们有机会将一次访问转化成持续的、有价值的体验,”Gotthilf 说到。“这意味着我们可以向他们发送通知和邮件。所以,我们开始思考做些什么可以提升注册转化率”。


在 App 最初设计中,要求用户必须先注册才能体验多邻国的产品功能。如果把延迟用户注册的时机,让用户先体验一些核心产品功能,等到用户对 App 产生兴趣之后再让用户注册,是否能提升注册转化率呢?


“我们设计了一个简单的引导课程,让用户可以看到自己的基础技能如何,这样有些用户无需注册就可以先体验多邻国的产品,我们的注册指标获得了显著提升。” Gotthilf 说,“只是简单的将注册页面延后了几步,就让 DAU(日活跃用户数)提升了 20%。”


2:迭代优化

迭代优化是 A/B 测试中另一个关键点,Duolingo 并没有止步于这个 A/B 测试,他们在此基础上进行了新一组 A/B 测试,目标是将 DAU 进一步提升。他们自己提出了几个问题:“用户应该在什么时间注册?是在一个引导流程的中间还是结束时?用户应该怎么完成注册?”


他们也在观察页面本身的设计。“在某一刻我们想过,‘好吧,除了拿着这个界面走来走去,我们还能做些什么?’”。Gotthilf 说“在屏幕的底部有一个大大的红色按钮,文案写着‘放弃我的进度(Discard my progress)’”——基本意味着就是不要注册。’”’他们假设很多用户具有一种行为习惯:毫不思考的点击页面中最显著的按钮,在这种假设下,多邻国正在失去很多本来对产品有兴趣的用户。果然如此,通过把这个按钮换成一个更小的按钮设计,并将文案修改为“稍后(Later)”之后,改变发生了。


这一变化带来了“软墙(soft walls)”页面——这些页面会让用户完成注册,同时也允许用户继续浏览,点击“Later”按钮后,稍后再注册——此时,会打开一个新的页面或者区域,让用户继续体验。“现在,我们有 3 个软墙”,Gotthilf 说,“最终,在几个连续的引导流程之后,用户会抵达硬墙(hard wall)页面,在硬墙页面,如果你想继续使用产品,必须完成注册才可以”。这里有一个关键点:如果没有这些软墙,而只有硬墙,最终的数据表现会明显更差。”


通过优化软墙和硬墙来延迟注册,这些细微的改变一起将 DAU 再一次提升了 8.2%。“第一个试验是大约三年前开始的,现在我们的用户基础比之前更大。这一数字结果也已经是非常显著的”。

经验总结

01 第一步先观察用户的注册数据,发现注册转化率有提升的空间


02 第二步提出假设:延迟用户注册的时机,让用户先体验产品,看是否能提升注册转化率和 DAU


03 第三步做 A/B 测试,让一小部分用户先体验新的版本:即先体验产品功能、延迟注册时机,对比新老版本的注册转化率和 DAU,发现新版本有 20%提升之后,发布新版本至所有用户


04 第四步做更多的 A/B 测试:在新版本中设置 3 个产品试用环节,让用户有 3 次机会体验新产品之后再注册,测试之后发现新版本将注册转化率和 DAU 进一步提升 8.2%


2020-04-05 16:541061

评论

发布
暂无评论
发现更多内容

20道高频面试题(含答案),看完豁然开朗

Java 程序员 面试 后端

🏆【Java技术之旅】教你如何使用异步神器CompletableFuture

码界西柚

Java 异步编程 8月日更 CompetableFuture

恐惧和自我偏见 -- 成长的最大障碍

俞凡

认知

Python 数值中的下划线是怎么回事?

Python猫

Python

渣男已经预订大碗牢饭,“科技渣男”怎么还在疯狂套路?

白洞计划

35岁程序员半月4轮面试,项目实战

策划Java工程师

Java 程序员 面试 后端

Numpy 常用数据结构和清理函数

若尘

Numpy 数据清洗 Python编程 8月日更

2021网易Java高级面试题总结,面试篇

Java 程序员 面试 后端

34岁Java开发大叔感慨,100%好评!

策划Java工程师

Java 程序员 面试 后端

【Flutter 专题】131 图解 AnimatedList 动画列表

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 8月日更

异常机制的概述

程序员阿杜

Java 8月日更

Web 身份验证:Cookie 与 令牌

devpoint

Cookie 8月日更

十大排序算法--冒泡排序

Ayue、

排序算法 8月日更

使用PSI(Pressure Stall Information)监控服务器资源

mazhen

Linux DevOps Linux Kenel linux运维

2021谈一下当下最合适的Java架构,感悟分享

Java 程序员 面试 后端

35岁程序员半月4轮面试,HR的话扎心了

策划Java工程师

Java 程序员 面试 后端

互相讨厌的奥运与气候

脑极体

35岁以后的Java程序员出路在哪里?最全的BAT大厂面试题整理

策划Java工程师

Java 程序员 面试 后端

来自跨越边界的急件,我推荐你用这三步,走出锁住你的圈套。

叶小鍵

35岁的程序员被裁,90%的人看完都说好

策划Java工程师

Java 程序员 面试 后端

35岁的程序员被裁,电子版已问世

策划Java工程师

Java 程序员 面试 后端

Vue进阶(幺捌零):JS 向 Vue 传值

No Silver Bullet

Vue 8月日更

Vue进阶(幺柒幺):前端用户体验提升(五)Flex实现弹性布局

No Silver Bullet

Vue Flex 8月日更

kubernetes/k8s CRI 分析 - 容器运行时接口分析

良凯尔

Kubernetes 源码分析 Kubernetes Plugin #Kubernetes# cri-o

中大型组织 DevOps 成熟度模型设计

Phodal

DevOps thoughtworks phodal

2021谈一下当下最合适的Java架构,神操作!

Java 程序员 面试 后端

350道Java面试真题分享,王者笔记!

策划Java工程师

Java 程序员 面试 后端

如何做分库分表,常见方案汇总

架构精进之路

MySQL 分库分表 8月日更

Spring 源码解析 -- SpringWeb过滤器Filter解析

Java spring 源码阅读

25K大牛甩出的超详细面试总结,已获万赞

策划Java工程师

Java 程序员 面试 后端

25K大牛甩出的超详细面试总结,砥砺前行!

策划Java工程师

Java 程序员 面试 后端

独角兽Duolingo是如何用A/B测试增长到2亿用户的?(一)_文化 & 方法_云测数据_InfoQ精选文章