大数据自助平台的思考与建设

阅读数:852 2019 年 8 月 15 日 00:00

大数据自助平台的思考与建设

ArchSummit 深圳 2019 大会上,成峰讲师做了《大数据自助平台的思考与建设》主题演讲,主要内容如下。

演讲简介

Grab 是东南亚最大的互联网 O2O 平台,业务由刚开始的打车业务,扩展到涵盖了打车、支付、送餐、地图、物流、生鲜等诸多领域。

如此快速变化的业务发展给数据工程团队带来了很多挑战,上游的数据快速增长和变化,数据团队需要快速支持数据流的变化。同时,数据量的快速增长和数据模型逐渐复杂化,我们支持下游数据分析团队可以快速的分析处理。这些驱动着我们设计端到端自助的大数据处理平台,把各类数据需求模块化,自动化,给数据用户自助服务的平台。给上下游提供平台每个环节的可见度,联通数据生产者和数据消费者。

演讲提纲

  1. Grab 的数据架构的演化
    • 数据平台的迭代
    • 存储与计算引擎的挑战
  2. 数据平台自助化的原动力
    • 大数据遇到微服务
    • 多元化自助 BI 的需求
  3. 数据平台自助化的实践
    • 自助数据导入平台
    • 自助数据分析平台
    • 自助数据导出平台
  4. 数据治理的思考和实践
    • 数据质量监管平台
    • 元数据管理

听众受益点

  1. 多元化业务快速发展的初创公司的平台化转型路径
  2. 如何设计高可扩展性,高性能的数据平台
  3. 自助化思维落地的挑战与实践

讲师介绍

成峰

Grab Data Engineering Lead

主导 Grab 大数据平台开发和维护。8 年 Data Geek,经历了 Oracle RAC,MPP,Hadoop 到如今 Spark/Presto 储存与计算分离的架构演变。

现在就职 Grab 新加坡,专注于的 Data Lake,数据平台,数据治理的研发工作。参与并主导了数据平台的端到端自助平台化的研发。

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

大数据自助平台的思考与建设

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2019/shenzhen/schedule

评论

发布