【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

GO-JEK:将机器学习用于预测和动态定价

  • 2021-04-07
  • 本文字数:3707 字

    阅读完需:约 12 分钟

GO-JEK:将机器学习用于预测和动态定价

使用 Google Cloud Platform 和 Google Maps Platform,GO-JEK 确立了其作为领先按需多服务平台的市场地位并且是东南亚为数不多的独角兽企业之一。


Google Cloud 带来的成效


  • 快速触达乘客和优化的路线,为 100 万摩托车驾驶员提供支持

  • 支持需求预测和定价调整

  • 使企业有能力实现国际扩张

每天管理高达 5TB 的数据


对于大部分的印尼居民,交通拥堵是生活中无法回避的一个事实。要支持 2.6 亿人(其中约 1 亿居住在首都雅加达)的工作和生活,该国的道路和相关基础设施面临着巨大的压力。为了最大限度减少延误,印尼人的日常工作或生活出行高度依赖摩托车(包括称为 ojek 的摩的)。


2010 年创立、总部位于雅加达的 GO-JEK 最初是作为 ojek 预约呼叫中心。该公司看到了对这项服务的旺盛需求,转而成为东南亚少有的“独角兽”之一 —— 市值超过 10 亿美元的私营初创企业。


“Google Maps Platform 现在是我们引擎的核心所在,它能够帮助我们找出优化路线并预估我们司机的抵达时间。”

— Ajey Gore,集团首席技术官,GO-JEK


自 2010 年起,GO-JEK 采集数据以了解客户行为,并且在 2015 年推出了捆绑专车服务、送餐以及杂货采买等功能的移动应用程序。GO-JEK 数据科学平台主管 Willem Pienaar 指出:“对这款应用程序有着无法满足的强大需求,我们很快便迎来了疯狂增长期。”


GO-JEK 不断倾听客户的意见和建议并获得使用反馈,以指引新产品的开发。该企业现在已经在其应用程序中捆绑了超过 18 款产品、一个忠诚度计划以及一项电子货币服务,除了该应用程序外,还有其他一些产品。该应用程序的客户下载量接近 1.08 亿次。


如今,GO-JEK 在整个印尼的 167 座城市和行政区运营,是许多垂直行业中的最大参与者。Pienaar 坦言:“仅专车服务一项,我们的平台就有超过 100 万名司机,通常一天我们会有数十万名司机同时在线,为我们的客户提供服务。在我们的送餐平台的商家数量超过  300,000。我们称它们为商家,原因在于它们并非仅仅是餐厅,也可能是从自己车库里售卖食品的父亲和母亲。通过让人们摆脱贫困,我们的平台为印尼的社会经济流动性提供了支持。而且,我们的支付服务已成为东南亚地区领先的电子货币平台之一。”

Google 生态系统是关键所在


该企业高度依赖其技术团队所具有的技能和专业知识以及选择正确的技术,来实现增长和拓展新市场。GO-JEK 选择基于 Google Cloud 运行其应用程序和数据,主要原因在于包括 Google Cloud Platform 以及其他技术的生态系统。


GO-JEK 集团首席技术官 Ajey Gore 解释道:“我们必须使司机和需求完美匹配 —— 无论是载客、送餐还是从 A 地到 B 地的其他服务项目 —— 以尽可能快的方式。Google Maps Platform 现在是我们引擎的核心所在,它能够帮助我们找出优化路线并预估我们司机的抵达时间。”


Google Cloud Platform 解决方案对于使 GO-JEK 能够采集和分析与遍布 167 个城市和行政区的 100 万名司机及 250 万客户相关的数据起着不可或缺的重要作用。Gore 指出:“例如,我们每十秒钟会 ping 我们的每位司机,这意味着每分钟 600 万次 ping,每天 80 亿次 ping。如果再考虑到我们客户互动的规模和数量,每天生成的数据量约为 4TB 至 5TB。我们需要利用这类数据来告诉我们的司机哪里的客户需求最旺盛以及如何达到那里。”


“Google Cloud Professional Services(专业服务)团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了至关重要的作用。 最终,得益于 Google Cloud Professional Services,我们更深入地了解了 Google 技术,实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”

— Willem Pienaar,数据科学平台主管,GO-JEK

国际扩张迫在眉睫


随着 GO-JEK 着眼于拓展国际市场,数据科学和机器学习正变得对企业愈发重要。Pienaar 解释道:“数据科学对于了解我们的客户起着关键作用。2018 年我们加快了国际扩张的步伐,要了解不同市场中客户的独特需求。而且,当有如此多的决策要实时制定时,机器学习至关重要。”


Pienaar 调查了 GO-JEK 的数据科学性如何利用其时间以及他们是否能够访问所需要的工具。他解释道:“我们的一位数据科学家询问我们是否能够帮助他优化自己的时间。这位工程师是我们企业中众多工程师的代表,他当时正在参与一些领域(例如,欺诈检测、个性化、司机分配和预测)中的有意思的项目。不过,他将大量时间用于工程,而非探索数据并创建特征和模型。”


通过三个视角审视数据科学家的项目:数据寻源、特征工程和机器学习,Pienaar 的团队明确了建立集中数据基础的必要性。


GO-JEK 随后与 Google Cloud Professional Services 密切合作来进一步探索和完善其设想。“Google Cloud Professional Services 团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了重要作用。团队带来管理高强度项目(从开始直至投入实用)方面的丰富经验。最终,得益于 Google Cloud Professional Services,我们更深入地了解了 Google 技术,实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”


Professional Services 团队开展了研讨、架构与设计会议以及实践型技术深度剖析等活动。团队成员与 GO-JEK 合作利用技术(例如,基于 Cloud Dataflow 运行的 Apache Beam、Cloud Bigtable 和 BigQuery)开发了概念证明,并以此作为 GO-JEK 特征工程和存储平台的基础。


平台所使用的其他技术 —— 可采集和存储来自 GO-JEK 产品和其他团队的数据 —— 包括 Apache Kafka、Cloud Pub/Sub 以及 Cloud Storage。这些团队通过这一基础将受益于自动报告、归档、监控、事件警报以及安全功能,而数据科学和机器学习团队能够访问所需要的数据以生成洞察。


由于通过将 Cloud Dataflow 和 Apache Beam 相结合解决了特征创建、标准化和一致性问题,企业必须选择一个特征存储环境。Pienaar 指出:“我们选择 BigQuery 来存储我们的训练数据,原因在于它所具有的高可扩展性以及它是完全基于云的服务这样一个事实,这意味着你不必管理任何基础架构。另外,它与其他 Google Cloud 服务紧密集成。”


“我们相信团结的力量,过去两年,我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序?”

— Ajey Gore,集团首席技术官,GO-JEK


对于服务,GO-JEK 引入了两个数据库:Cloud Bigtable 和 Cloud Memorystore for Redis。Pienaar 指出:“对我们而言,Cloud Bigtable 是真正的‘颠覆者’。 它使我们能够以不到 10 毫秒的延迟一致地访问特征数据并且可处理非常高的负载,因此,你可以每节点每秒读/写最多 10,000 次,而如果要扩展,只需添加更多的节点。”


“Cloud Memorystore for Redis 还使我们能够适应诸如每秒进行 200,000 或 300,000 次特征更新的情况。”他补充道。


特征服务 (feature-serving) API 可支持从 Cloud Bigtable 或 Cloud Memorystore 进行快速特征查找并提供缓存。


由于所有此类数据都被记录并且对于数据科学家极其有用,GO-JEK 将元数据转储到 PostgreSQL 数据库。由此,企业可使用 Google Data Studio 对预测结果或目标优化中特定特征的有效性进行可视化。GO-JEK 还创建了特征资源管理器 (feature explorer),其数据科学家可以利用它来查找特征,在 BigQuery 中选择它们,并对其模型进行训练。

借助云机器学习,实现动态定价


利用已建立的数据源和特征工程构建块,GO-JEK 使其数据科学家能够采用可扩展的机器学习模型来实现动态定价和其他举措。“我们引入了 Cloud Machine Learning Engine(云机器学习引擎),它与 BigQuery 紧密集成,作为我们的特征和原始数据仓库。”Pienaar 解释道。Cloud Machine Learning Engine 是一种可扩展的托管服务,使 GO-JEK 的数据科学家能够训练和服务 TensorFlow 模型。


GO-JEK 架构还包括适用于流式推理的 Cloud Dataflow 以及基于 Apache Kafka 的未来需求。企业现在能够有效地预测由于天气变化或者定价变化之类的事件导致的需求变化,从而调整驾驶员的应对方式。企业还能够实现其应用程序首页个性化,并且满足服务水平要求:30 毫秒延迟以及每秒高达 10,000 个请求的吞吐能力。


GO-JEK 工程师现在只需要关心使用 Cloud Datalab 来构建机器学习模型;在特征资源管理器中查找特征;使用 BigQuery 创建训练集;以及采用 Cloud Machine Learning Engine 来训练其模型。


Pienaar 指出:“对 GO-JEK 产生的影响是我们的数据科学家能够更快地交付项目,我们的客户体验被大幅提升,随着我们向新市场扩张,我们每客户的数据科学家数量更少,在基础架构上花费的时间和金钱也更少。我们相信团结的力量,过去两年,我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序?”


关于 GO-JEK


自 2015 年推出其应用程序以来,GO-JEK 已逐步发展成为印尼首屈一指的按需多服务平台。总部位于雅加达的 GO-JEK 是一个“超级应用程序”,使印尼约 167 个城市和行政区的居民能够访问超过 18 种服务产品 —— 从交通、送餐、杂货采买、按摩、保洁到物流和支付等。GO-JEK 技术已经为数百万人改善了生活,同时还为非正规部门以及微型、小型和中型企业 (MSME) 赋能。

2021-04-07 00:221116

评论

发布
暂无评论
发现更多内容

Authing 郑凌:我眼中的 Authing

Authing

调用 sap.ui.base.ManagedObject 的构造函数时,如何传递绑定路径进去

Jerry Wang

JavaScript SAP SAP UI5 ui5 9月月更

库调多了,都忘了最基础的概念 <锁与线程篇1>

知识浅谈

线程 9月月更

为什么越来越多博士逃离科研?

博文视点Broadview

这份数据安全自查checklist请拿好,帮你补齐安全短板的妙招全在里面!

京东科技开发者

数据库 安全 数据安全 云安全 京东云

Hi3861 通过UART串口协议与其它开发板进行通信

OpenHarmony开发者

OpenHarmony

讲究卡路里多少的美食出圈了!维小饭被评为“2022中国轻食十大品牌”

联营汇聚

ChaosBlade Java 场景性能优化,那些你不知道的事

Java快了!

java;

4天带你上手HarmonyOS ArkUI开发

HarmonyOS开发者

HarmonyOS

降本:云原生可观测性新定义

观测云

javaweb-JSP

喜羊羊

9月月更

云数据库技术|“重磅升级”后再测TDSQL-C

数据库 polarDB 玖章算术 TDSQL-C

面试突击:什么是跨域问题?如何解决?

Java快了!

java;

JavaScript 基础知识

喜羊羊

9月月更

如何让开发者直接在应用后台控制用户的运动状态?

HMS Core

关于 eBPF 安全可观测性,你需要知道的那些事儿

OpenAnolis小助手

Linux 开源 内核 ebpf 龙蜥技术

JavaWeb -JavaBean MVC Filter 监听器 过滤器

喜羊羊

9月月更

客户案例|宜泊科技怎样实现智慧停车可观测

观测云

TDengine支持多种写入协议,四种写入方式提效大全

TDengine

tdengine 开源 时序数据库 企业号九月金秋榜

构建运维监控体系设计思路概述

穿过生命散发芬芳

监控体系 9月月更

下一代 SCA:流水线成分分析

SEAL安全

DevSecOps SCA 软件成分分析 软件组成分析 软件供应链安全

需求变更,敏捷项目应如何做?

敏捷开发

Scrum 敏捷 需求管理 需求 Scrum团队

阿里开源的升级思考:开源委员会的三个关键行动点

阿里技术

开源

Qt|自定义Widget实现互斥效果问题

中国好公民st

qt QWidget 9月月更

数据科学家、数据工程师和数据分析师三个角色的区别是什么

雨果

数据分析师 数据科学 数据工程师

中秋节,华为云AI送上超级大月亮制作教程,体验赢开发者键鼠套装

华为云开发者联盟

人工智能 华为云 中秋节 企业号九月金秋榜

最全元宇宙概念分析!元宇宙为何发展于区块链?

TinTinLand

区块链 人工智能 元宇宙

Sprint Review能不能做成Demo演示?

LigaAI

Scrum 敏捷开发 迭代增量开发 高效办公 企业号九月金秋榜

【活动预告】数据集成海外专场Meetup:走进Shopee,聊透SeaTunnel优化实践

Apache SeaTunnel

技术分享 数据同步 数据集成 社区活动

Java 多线程:基础

Java快了!

java;

月满中秋夜|中秋和 Jina AI 一起过

Jina AI

开源 人工智能’ 神经搜索

GO-JEK:将机器学习用于预测和动态定价_架构_Google Cloud_InfoQ精选文章