InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

滴滴大数据研发平台最佳实践

  • 2019-08-11
  • 本文字数:753 字

    阅读完需:约 2 分钟

滴滴大数据研发平台最佳实践

QCon北京2019大会上,曾文秋讲师做了《滴滴大数据研发平台最佳实践》主题演讲,主要内容如下。


演讲简介


滴滴大数据研发平台致力于数据赋能业务,一站式完成数据的同步、开发、调度、数据质量、监控运维等操作,让数据开发过程顺畅高效,让数据运维省心省力。

主题摘要

1、介绍下滴滴的大数据发展史,滴滴大数据经历了裸奔状态(引擎初建,通过 Sqoop 从 Mysql 导入 Hadoop,用户通过命令行访问大数据)、割裂的工具化建设(租户管理、权限管理、任务调度等等)、一站式的智能开发 & 生产平台(覆盖离线场景;内置开发和生产两套逻辑环境,规范数据开发、生产和发布流程;)、集离线开发、实时开发、机器学习于一体的一站式的智能开发 & 生产平台;


2、集离线开发 & 实时开发 & 机器学习于一体的一站式的智能开发 & 生产平台是什么?平台包括哪些组件,每个组件的核心功能是啥?建设这个平台遇到哪些困难,是如何克服的?


3、核心组件设计剖析:离线实时元数据统一、统一任务提交网关机、列权限、数据血缘;


4、举例说明如何利用一站式的智能开发 & 生产平台进行数据治理,包括存储和计算:废弃表、同源导入、生命周期过长、暴利扫描、数据倾斜、参数不合理等等。

听众受益

1、用户可以了解大数据平台研发工具的建设思路;


2、离线和流式元数据统一体系(业界独一份);


3、如果基于开源组件来构建大数据工具体系。


讲师介绍


曾文秋


滴滴 高级专家工程师


8 年大数据平台产品研发经验,入职滴滴前曾负责阿里的大数据开发套件(包括一站式的大数据开发平台、工作流任务调度、任务智能监控、数据质量、数据管理等),目前在滴滴在负责构建基于开源大数据(Hadoop、Hive、Spark、Presto、Flink)的一站式智能数据开发、生产平台(包括离线、实时、机器学习)。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2019-08-11 00:002890

评论 1 条评论

发布
用户头像
非常感谢,有三个问题想请教一下:
1、离线和流式元数据统一体系 这块是如何实现?
2、开发环境和生产环境的元数据如何统一?
3、发布包里面的内容有哪些?
2019-08-23 01:03
回复
没有更多了
发现更多内容

MacOS SVN 客户端:Cornerstone 4永久许可证

魔仙苹果mac堡

Mac 系统 SVN客户端 Cornerstone for Mac Cornerstone下载 Cornerstone 4

TCP协议中的粘包和半包问题

做梦都在改BUG

TCP TCP协议 粘包 半包

千亿流量并发治理!Alibaba实战Sentinel笔记,为微服务保驾护航

做梦都在改BUG

Java 微服务 sentinel 高并发 流量治理

5分钟搞懂NESAS

俞凡

安全 网络 通信

Macos壁纸软件|动态壁纸Dynamic Wallpaper灵动你的桌面!

魔仙苹果mac堡

Dynamic Wallpaper下载 mac动态壁纸 Mac壁纸app 苹果软件资源站 壁纸高清

好家伙!GitHub公选“头牌”阿里大牛开源1300页炫彩性能调优手记

做梦都在改BUG

Java 性能优化 性能调优

肝完阿里最新Java并发编程全优笔记,我成功晋升公司架构组

Java你猿哥

Java 架构师 并发 面经 Java工程师

系统清理工具:Cocktail 16.3.3注册激活版

真大的脸盆

Mac Mac 软件 清理工具 清理优化 清理优化软件

TypeScript常用代码块

青柚1943

DDD洋葱架构才是 yyds!阿里大牛手记(DDD)领域驱动设计应对之道

做梦都在改BUG

Java 领域驱动设计 DDD 架构师

从阿里出发看微服务发展!P8架构师手打800页微服务深度解析笔记

做梦都在改BUG

Java 架构 微服务

Spring Boot自动配置原理详解和自定义封装实现starter

做梦都在改BUG

Java Spring Boot 自动配置

开源7天Github斩获4.5万Stars!阿里2023版高并发设计实录鲨疯了

程序员小毕

数据库 程序员 面试 高并发 架构师

intellijidea卸载重装无法打开怎么办?IntelliJ IDEA彻底卸载教程

Rose

IntelliJ IDEA 2023下载 IntelliJ IDEA 2023破解 IntelliJ IDEA 2023最新 IntelliJ IDEA卸载

QEMU事件循环机制

Linux内核拾遗

Linux Kenel 虚拟化 事件和事件循环 qemu kvm

十年程序老狗手写分布式服务架构:原理、设计与实战

小小怪下士

Java 程序员 分布式 后端

前端面试实录HTTP篇

控心つcrazy

https HTTP 前端面试 前端已死

Java岗程序员必备学习方向,全会拿45Koffer没问题!

Java你猿哥

Java 面试 面经 Java工程师 春招

LED显示屏近年来在中国的发展趋势

Dylan

LED显示屏 全彩LED显示屏 led显示屏厂家

D-ONE计划解读|得帆云DeCode持续引领低代码产品演进!

得帆信息

新产品 低代码平台 aPaaS

ChatGPT - SpringBoot Prompting Chain

马说IT

软件开发 ChatGPT

Bettertouchtool for Mac(触摸板增强神器)使用教程

魔仙苹果mac堡

BetterTouchTool破解 BetterTouchTool教程 Mac触控板增强

VMware fusion pro13下载 VM虚拟机安装教程

魔仙苹果mac堡

VMware Fusion Pro 13 VMware Fusion虚拟机 VM虚拟机破解版

在Vue中,为什么从 props 中解构变量之后再watch它,无法检测到它的变化?

Lee Chen

JavaScript Vue3

网络IO模型BIO->Select->Epoll多路复用的进化史

做梦都在改BUG

Vue3常用代码块

青柚1943

了解5G安全标准,看这一篇就够了

俞凡

安全 网络 通信

Photoshop如何更改语言?最新版PS2023自带中英文语言切换

魔仙苹果mac堡

Photoshop 2023下载 Photoshop 2023破解版 PS2023下载 如何切换PS语言

阿里内部一份手打524页《Java中高级核心知识》令人犹如醍醐灌顶

程序知音

Java java面试 java架构 后端技术 Java面试八股文

Mac 无线网络扫描工具:WiFi Explorer 3.4.2 (57)激活汉化版

真大的脸盆

无线管理 wifi工具

Github标星42K!不愧是腾讯云大神亲码的“redis深度笔记”

采菊东篱下

Java redis 面试

  • 扫码添加小助手
    领取最新资料包
滴滴大数据研发平台最佳实践_QCon_曾文秋_InfoQ精选文章