写点什么

滴滴大数据研发平台最佳实践

  • 2019 年 8 月 11 日
  • 本文字数:753 字

    阅读完需:约 2 分钟

滴滴大数据研发平台最佳实践

QCon北京2019大会上,曾文秋讲师做了《滴滴大数据研发平台最佳实践》主题演讲,主要内容如下。


演讲简介


滴滴大数据研发平台致力于数据赋能业务,一站式完成数据的同步、开发、调度、数据质量、监控运维等操作,让数据开发过程顺畅高效,让数据运维省心省力。


主题摘要

1、介绍下滴滴的大数据发展史,滴滴大数据经历了裸奔状态(引擎初建,通过 Sqoop 从 Mysql 导入 Hadoop,用户通过命令行访问大数据)、割裂的工具化建设(租户管理、权限管理、任务调度等等)、一站式的智能开发 & 生产平台(覆盖离线场景;内置开发和生产两套逻辑环境,规范数据开发、生产和发布流程;)、集离线开发、实时开发、机器学习于一体的一站式的智能开发 & 生产平台;


2、集离线开发 & 实时开发 & 机器学习于一体的一站式的智能开发 & 生产平台是什么?平台包括哪些组件,每个组件的核心功能是啥?建设这个平台遇到哪些困难,是如何克服的?


3、核心组件设计剖析:离线实时元数据统一、统一任务提交网关机、列权限、数据血缘;


4、举例说明如何利用一站式的智能开发 & 生产平台进行数据治理,包括存储和计算:废弃表、同源导入、生命周期过长、暴利扫描、数据倾斜、参数不合理等等。


听众受益

1、用户可以了解大数据平台研发工具的建设思路;


2、离线和流式元数据统一体系(业界独一份);


3、如果基于开源组件来构建大数据工具体系。


讲师介绍


曾文秋


滴滴 高级专家工程师


8 年大数据平台产品研发经验,入职滴滴前曾负责阿里的大数据开发套件(包括一站式的大数据开发平台、工作流任务调度、任务智能监控、数据质量、数据管理等),目前在滴滴在负责构建基于开源大数据(Hadoop、Hive、Spark、Presto、Flink)的一站式智能数据开发、生产平台(包括离线、实时、机器学习)。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019 年 8 月 11 日 00:002392

评论 1 条评论

发布
用户头像
非常感谢,有三个问题想请教一下:
1、离线和流式元数据统一体系 这块是如何实现?
2、开发环境和生产环境的元数据如何统一?
3、发布包里面的内容有哪些?
2019 年 08 月 23 日 01:03
回复
没有更多了
发现更多内容

盘点 2021|鲜花怒马少年时,一日看尽长安花

AXYZdong

盘点 2021

操作系统之进程管理、内存管理总结

yuexin_tech

内存 进程 操作性

盘点2021 | 本命年的自我救赎之路

打工人!

盘点 2021 1月月更

01 Prometheus之监控基础知识

穿过生命散发芬芳

Prometheus 1月月更

如何将List<Integer>转换为int[]数组

liuzhen007

Java 28天写作 12月日更

架构实战营 - 模块四

Geek_e6f7f6

架构训练营

从零打造WhatsApp

俞凡

架构 大厂实践 whatsapp

Wechaty 李卓桓:我想要某种功能,你没有?那我来一个

OpenTEKr

开源 大话开源

yuye 个人介绍

努力努力再努力

Java 中间件

模块八作业:设计消息队列存储消息数据的 MySQL 表格

dean

架构实战营

如何在 Windows Server 上搭建 Git Repository Server?

DisonTangor

git windows

APISIX 温铭:开源的本质是要撬动开发者的杠杆 | 大话开源Vol.13

OpenTEKr

大话开源

开源社林旅强:开源之于创新,有时无招胜有招

OpenTEKr

大话开源

一个cpp协程库的前世今生(六)管理器manager

SkyFire

c++ cocpp

Kyligence 韩卿:开源改变了人类生产软件的方式 | 大话开源Vol.10

OpenTEKr

大话开源

我选择了VSCode

xcbeyond

vscode 28天写作 12月日更

KubeEdge 王泽锋:只有代码没有生命力,凝聚开发者的社区才能活力无限Vol.8

OpenTEKr

大话开源

SphereEx 潘娟:玩开源,我们就要秀出别样 My Way 来构建活力生态 | 大话开源Vol.11

OpenTEKr

大话开源

2021阅读总结

俞凡

阅读

TAOS Data 陶建辉:一个开源项目要成功,最关键的是定位 | 大话开源Vol.12

OpenTEKr

大话开源

【LeetCode】将一维数组转变成二维数组Java题解

HQ数字卡

LeetCode 每日一题 1月月更

瞰见 | 美股新贵Confluent背后的卡夫卡,不是那个魔幻小说家

OpenTEKr

狄安瞰源

瞰见|从电厂螺蛳里看 Elastic 与亚马逊云的恩怨情仇

OpenTEKr

狄安瞰源

SkyWalking 吴晟:好的开源项目,要能解决真实且有共性的问题

OpenTEKr

大话开源

一个cpp协程库的前世今生(七)ctx的状态与标识位

SkyFire

c++ cocpp

架构实战-模块八-作业

无名

「架构实战营」

瞰见|即将上市的云明星 HashiCorp 走过的开源之路

OpenTEKr

开源 狄安瞰源

VMware 任道远:中国的开源生态还处在萌芽发展的青春期,需要多元力量和全球化协作 I OpenTEKr 大话开源 Vol.9

OpenTEKr

大话开源

模块八作业-消息队列表设计

Geek_cb2b43

LabVIEW图像灰度测量(基础篇—7)

不脱发的程序猿

机器视觉 图像处理 LabVIEW 图像灰度测量 像素灰度

边缘计算和大数据平台如何相结合?

守护石

大数据 边缘计算 物联网,

滴滴大数据研发平台最佳实践_QCon_曾文秋_InfoQ精选文章