写点什么

GO-JEK:将机器学习用于预测和动态定价

2021 年 4 月 07 日

GO-JEK:将机器学习用于预测和动态定价

使用 Google Cloud Platform 和 Google Maps Platform,GO-JEK 确立了其作为领先按需多服务平台的市场地位并且是东南亚为数不多的独角兽企业之一。


Google Cloud 带来的成效


  • 快速触达乘客和优化的路线,为 100 万摩托车驾驶员提供支持

  • 支持需求预测和定价调整

  • 使企业有能力实现国际扩张

每天管理高达 5TB 的数据


对于大部分的印尼居民,交通拥堵是生活中无法回避的一个事实。要支持 2.6 亿人(其中约 1 亿居住在首都雅加达)的工作和生活,该国的道路和相关基础设施面临着巨大的压力。为了最大限度减少延误,印尼人的日常工作或生活出行高度依赖摩托车(包括称为 ojek 的摩的)。


2010 年创立、总部位于雅加达的 GO-JEK 最初是作为 ojek 预约呼叫中心。该公司看到了对这项服务的旺盛需求,转而成为东南亚少有的“独角兽”之一 —— 市值超过 10 亿美元的私营初创企业。


“Google Maps Platform 现在是我们引擎的核心所在,它能够帮助我们找出优化路线并预估我们司机的抵达时间。”

— Ajey Gore,集团首席技术官,GO-JEK


自 2010 年起,GO-JEK 采集数据以了解客户行为,并且在 2015 年推出了捆绑专车服务、送餐以及杂货采买等功能的移动应用程序。GO-JEK 数据科学平台主管 Willem Pienaar 指出:“对这款应用程序有着无法满足的强大需求,我们很快便迎来了疯狂增长期。”


GO-JEK 不断倾听客户的意见和建议并获得使用反馈,以指引新产品的开发。该企业现在已经在其应用程序中捆绑了超过 18 款产品、一个忠诚度计划以及一项电子货币服务,除了该应用程序外,还有其他一些产品。该应用程序的客户下载量接近 1.08 亿次。


如今,GO-JEK 在整个印尼的 167 座城市和行政区运营,是许多垂直行业中的最大参与者。Pienaar 坦言:“仅专车服务一项,我们的平台就有超过 100 万名司机,通常一天我们会有数十万名司机同时在线,为我们的客户提供服务。在我们的送餐平台的商家数量超过  300,000。我们称它们为商家,原因在于它们并非仅仅是餐厅,也可能是从自己车库里售卖食品的父亲和母亲。通过让人们摆脱贫困,我们的平台为印尼的社会经济流动性提供了支持。而且,我们的支付服务已成为东南亚地区领先的电子货币平台之一。”

Google 生态系统是关键所在


该企业高度依赖其技术团队所具有的技能和专业知识以及选择正确的技术,来实现增长和拓展新市场。GO-JEK 选择基于 Google Cloud 运行其应用程序和数据,主要原因在于包括 Google Cloud Platform 以及其他技术的生态系统。


GO-JEK 集团首席技术官 Ajey Gore 解释道:“我们必须使司机和需求完美匹配 —— 无论是载客、送餐还是从 A 地到 B 地的其他服务项目 —— 以尽可能快的方式。Google Maps Platform 现在是我们引擎的核心所在,它能够帮助我们找出优化路线并预估我们司机的抵达时间。”


Google Cloud Platform 解决方案对于使 GO-JEK 能够采集和分析与遍布 167 个城市和行政区的 100 万名司机及 250 万客户相关的数据起着不可或缺的重要作用。Gore 指出:“例如,我们每十秒钟会 ping 我们的每位司机,这意味着每分钟 600 万次 ping,每天 80 亿次 ping。如果再考虑到我们客户互动的规模和数量,每天生成的数据量约为 4TB 至 5TB。我们需要利用这类数据来告诉我们的司机哪里的客户需求最旺盛以及如何达到那里。”


“Google Cloud Professional Services(专业服务)团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了至关重要的作用。 最终,得益于 Google Cloud Professional Services,我们更深入地了解了 Google 技术,实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”

— Willem Pienaar,数据科学平台主管,GO-JEK

国际扩张迫在眉睫


随着 GO-JEK 着眼于拓展国际市场,数据科学和机器学习正变得对企业愈发重要。Pienaar 解释道:“数据科学对于了解我们的客户起着关键作用。2018 年我们加快了国际扩张的步伐,要了解不同市场中客户的独特需求。而且,当有如此多的决策要实时制定时,机器学习至关重要。”


Pienaar 调查了 GO-JEK 的数据科学性如何利用其时间以及他们是否能够访问所需要的工具。他解释道:“我们的一位数据科学家询问我们是否能够帮助他优化自己的时间。这位工程师是我们企业中众多工程师的代表,他当时正在参与一些领域(例如,欺诈检测、个性化、司机分配和预测)中的有意思的项目。不过,他将大量时间用于工程,而非探索数据并创建特征和模型。”


通过三个视角审视数据科学家的项目:数据寻源、特征工程和机器学习,Pienaar 的团队明确了建立集中数据基础的必要性。


GO-JEK 随后与 Google Cloud Professional Services 密切合作来进一步探索和完善其设想。“Google Cloud Professional Services 团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了重要作用。团队带来管理高强度项目(从开始直至投入实用)方面的丰富经验。最终,得益于 Google Cloud Professional Services,我们更深入地了解了 Google 技术,实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”


Professional Services 团队开展了研讨、架构与设计会议以及实践型技术深度剖析等活动。团队成员与 GO-JEK 合作利用技术(例如,基于 Cloud Dataflow 运行的 Apache Beam、Cloud Bigtable 和 BigQuery)开发了概念证明,并以此作为 GO-JEK 特征工程和存储平台的基础。


平台所使用的其他技术 —— 可采集和存储来自 GO-JEK 产品和其他团队的数据 —— 包括 Apache Kafka、Cloud Pub/Sub 以及 Cloud Storage。这些团队通过这一基础将受益于自动报告、归档、监控、事件警报以及安全功能,而数据科学和机器学习团队能够访问所需要的数据以生成洞察。


由于通过将 Cloud Dataflow 和 Apache Beam 相结合解决了特征创建、标准化和一致性问题,企业必须选择一个特征存储环境。Pienaar 指出:“我们选择 BigQuery 来存储我们的训练数据,原因在于它所具有的高可扩展性以及它是完全基于云的服务这样一个事实,这意味着你不必管理任何基础架构。另外,它与其他 Google Cloud 服务紧密集成。”


“我们相信团结的力量,过去两年,我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序?”

— Ajey Gore,集团首席技术官,GO-JEK


对于服务,GO-JEK 引入了两个数据库:Cloud Bigtable 和 Cloud Memorystore for Redis。Pienaar 指出:“对我们而言,Cloud Bigtable 是真正的‘颠覆者’。 它使我们能够以不到 10 毫秒的延迟一致地访问特征数据并且可处理非常高的负载,因此,你可以每节点每秒读/写最多 10,000 次,而如果要扩展,只需添加更多的节点。”


“Cloud Memorystore for Redis 还使我们能够适应诸如每秒进行 200,000 或 300,000 次特征更新的情况。”他补充道。


特征服务 (feature-serving) API 可支持从 Cloud Bigtable 或 Cloud Memorystore 进行快速特征查找并提供缓存。


由于所有此类数据都被记录并且对于数据科学家极其有用,GO-JEK 将元数据转储到 PostgreSQL 数据库。由此,企业可使用 Google Data Studio 对预测结果或目标优化中特定特征的有效性进行可视化。GO-JEK 还创建了特征资源管理器 (feature explorer),其数据科学家可以利用它来查找特征,在 BigQuery 中选择它们,并对其模型进行训练。

借助云机器学习,实现动态定价


利用已建立的数据源和特征工程构建块,GO-JEK 使其数据科学家能够采用可扩展的机器学习模型来实现动态定价和其他举措。“我们引入了 Cloud Machine Learning Engine(云机器学习引擎),它与 BigQuery 紧密集成,作为我们的特征和原始数据仓库。”Pienaar 解释道。Cloud Machine Learning Engine 是一种可扩展的托管服务,使 GO-JEK 的数据科学家能够训练和服务 TensorFlow 模型。


GO-JEK 架构还包括适用于流式推理的 Cloud Dataflow 以及基于 Apache Kafka 的未来需求。企业现在能够有效地预测由于天气变化或者定价变化之类的事件导致的需求变化,从而调整驾驶员的应对方式。企业还能够实现其应用程序首页个性化,并且满足服务水平要求:30 毫秒延迟以及每秒高达 10,000 个请求的吞吐能力。


GO-JEK 工程师现在只需要关心使用 Cloud Datalab 来构建机器学习模型;在特征资源管理器中查找特征;使用 BigQuery 创建训练集;以及采用 Cloud Machine Learning Engine 来训练其模型。


Pienaar 指出:“对 GO-JEK 产生的影响是我们的数据科学家能够更快地交付项目,我们的客户体验被大幅提升,随着我们向新市场扩张,我们每客户的数据科学家数量更少,在基础架构上花费的时间和金钱也更少。我们相信团结的力量,过去两年,我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序?”


关于 GO-JEK


自 2015 年推出其应用程序以来,GO-JEK 已逐步发展成为印尼首屈一指的按需多服务平台。总部位于雅加达的 GO-JEK 是一个“超级应用程序”,使印尼约 167 个城市和行政区的居民能够访问超过 18 种服务产品 —— 从交通、送餐、杂货采买、按摩、保洁到物流和支付等。GO-JEK 技术已经为数百万人改善了生活,同时还为非正规部门以及微型、小型和中型企业 (MSME) 赋能。

2021 年 4 月 07 日 00:22257

评论

发布
暂无评论
发现更多内容

“先加密后签名”是不是安全?看完这篇就秒懂!

华为云开发者社区

安全 加密 签名

天秀!这份由阿里数位大牛编写的777页高可用架构+MySQL

Java~~~

Java MySQL 编程语言 高并发 架构师

解密猫晚直播技术:如何保障全球200多个国家和地区同时在线狂欢?

阿里云视频云

【涂鸦物联网足迹】涂鸦云平台接口列表—智能门锁

IoT云工坊

人工智能 云计算 物联网 API 智能门锁

看完之后,不要再说不懂代理IP了!

前嗅大数据

大数据 静态IP 代理IP 短效代理 动态IP

架构师训练营 -week08-作业

大刘

极客大学架构师训练营

2020年区块链发展及产业升级交流会成功举办

WX13823153201

阿里又出一座丰碑!P9级架构师整合出最新最全微服务1700页手册,下载下来慢慢啃

Java架构追梦

Java 架构 微服务 springboot SpringCloud

Nacos配置中心和服务的注册发现

牛初九

微服务 Spring Cloud nacos spring cloud alibaba

架構師訓練營第 1 期 - 第 08 周作業

Panda

架構師訓練營第 1 期

58个基础案例+2个综合案例带你探索微服务的神秘世界

小Q

Java 学习 编程 面试 开发

你应该知道的数仓安全——默认权限实现共享schema

华为云开发者社区

数据库 数据 schema

JVM-技术专题-关闭与关闭钩子

李浩宇/Alex

不服!阿里P8手写489页SQL优化通关手册,解决你百思不得其解问题

996小迁

sql 程序员 架构 面试 计算机

28天刷完这份内容多大349页的阿里Java面试通关手册,我成功闯进了字节跳动!

Java架构之路

Java 程序员 架构 面试 编程语言

程序员在编程过程中,经常会在代码中使用到“where 1=1”,这是为什么呢?

小Q

Java 数据库 学习 架构 面试

太牛了,腾讯T4Java技术专家手撸的Redis技术笔记,一周内下载量已突破30W。

Java架构之路

Java 程序员 架构 面试 编程语言

从 Android 到 Java:如何从不同视角解决问题?

Java架构师迁哥

python+flask编写一个简单的登录接口例子

测试人生路

Python 接口测试

30秒系列 | 巧用百度翻译提取图片中的文字

青城

图片识别 30秒 小技能

linux下定位多线程内存越界问题实践总结

小Q

Java Linux 学习 面试 多线程

《迅雷链精品课》第四课:区块链技术发展趋势

迅雷链

区块链

朋友推荐我这份阿里面试通关手册,我却选择了字节的offer

小Q

Java 学习 程序员 架构 面试

炸了!一口气间了我18个JVM问题!

云流

Java 面试 jvm调优 JVM垃圾回收原理

架构师训练营 1 期 -- 第八周笔记

曾彪彪

极客大学架构师训练营

LeetCode题解:剑指 Offer 22. 链表中倒数第k个节点,递归,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

隧道视野效应 - 认知局限

石云升

教育 认知 隧道视野效应

开源GitHub标星30K的腾讯Redis笔记,阿里技术专家看到都赞不绝口

小Q

Java 学习 编程 架构 面试

手把手教你使用ModelArts的自动学习识别毒蘑菇分类

华为云开发者社区

学习 AI 图像识别

嗯,挺全乎儿的,Spring Boot 多环境配置都在这里了,你喜欢哪种?

比伯

Java spring 编程 程序员 架构

成长为软件教练的三千大道之一

华为云开发者社区

Java 敏捷开发

4月17日 HarmonyOS 开发者日·上海站

4月17日 HarmonyOS 开发者日·上海站

GO-JEK:将机器学习用于预测和动态定价-InfoQ