如何将AI能力与大数据技术结合,助力数据分析治理等工作的效率大幅提升,优化大数据引擎的性能及成本? 了解详情
写点什么

滴滴亿级 TPS 数据通道架构实践

  • 2019-09-10
  • 本文字数:641 字

    阅读完需:约 2 分钟

滴滴亿级TPS数据通道架构实践

ArchSummit北京2018大会上,张亮讲师做了《滴滴亿级 TPS 数据通道架构实践》主题演讲,主要内容如下。


演讲简介


滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。


本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。


演讲提纲


1、问题与挑战


  • 问题

  • 挑战


2、架构与优化


2.1 架构 1.0–简单、快


  • 2.1.1 架构关注点

  • 2.1.2 架构图

  • 2.1.3 存在的问题


2.2 架构 2.0–稳定、易用


  • 2.2.1 架构关注点

  • 2.2.2 架构图

  • 2.2.3 存在的问题


2.3 架构 3.0–及时、完整


  • 2.3.1 架构关注点

  • 2.3.2 架构图


3、总结与规划


听众受益


  1. 如何打造亿级 TPS 的实时数据通道,架构设计背后的思考,平台化建设的思路

  2. 如何保障数据的及时性、完整性

  3. 如何进行数据链路的延时与故障检测

  4. 如何进行故障的快速恢复

  5. 如何进行全局性的限流与降级


讲师介绍


张亮


滴滴出行 高级技术专家


2014 年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka 服务,数据检索服务的架构设计与研发工作,峰值流量 10GB/S,日增数据 800TB。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019-09-10 14:021684

评论

发布
暂无评论
发现更多内容

css学习

codingyt

CSS 10月月更

华为云帮助企业做好核心数据灾备,为企业数据安全与稳定发展提供保障

爱尚科技

css学习笔记5

虾仁疙瘩汤

CSS css3 10月月更

一朝见微,十年知著:联想Tiny的办公聚变

脑极体

安全、快速、稳定,华为云CDN赋能中小企业数字化发展

IT科技苏辞

IoT设备与手机App之间如何实现实时消息通信——业务场景最佳实践

阿里云AIoT

物联网 IoT 传感器 智能硬件

“程”风破浪的开发者|微信小程序逆地址解析

清风无影

微信小程序 学习方法 uniapp 腾讯地图 “程”风破浪的开发者

CSS基础4

虾仁疙瘩汤

CSS css3 10月月更

千锋杭州秋季IT专场双选会热烈启幕,招聘与就业成果显著

千锋IT教育

华为云 CDN 是如何修炼 “ 内功 ” 的?

IT科技苏辞

千锋HTML5大前端全网首发Web3.0面授课程,助力个人入局热门赛道!

千锋IT教育

华为云数据灾备全场景应用方案,为企业数据安全护航

爱尚科技

降低成本,快速搭建企业知识库的方法盘点

Baklib

知识库

全国联动,千锋教育1024程序员节线下狂欢活动火热开展!

千锋IT教育

Java Stream中map、flatMap 的使用区别

zarmnosaj

10月月更

经验分享|如何做好FAQ设计

Baklib

千锋郑州第八届“千锋杯”联合项目大赛圆满落幕

千锋IT教育

怎么制作一份能够帮助客户的帮助文档呢?

Baklib

帮助文档

“程”风破浪的开发者 | 元宇宙就是“虚晃一枪”?

三掌柜

1024 1024程序员节 元宇宙 “程”风破浪的开发者

CSS学习笔记6

虾仁疙瘩汤

CSS css3 10月月更

jsp 十个常用标记回顾

你笑一下嘛!

前端 jsp 10月月更

TOGAF企业架构框架-2常见术语

Marvin Ma

架构 企业架构 TOGAF TOGAF术语

华为云大数据BI,便捷高效的大数据解决方案,助力企业数字化运营

爱科技的水月

传统制造业数字化转型路径与实践

宇宙之一粟

数字化转型 制造业 10月月更

TOGAF企业架构框架-1概览

Marvin Ma

架构 企业架构 TOGAF

华为云对象存储服务OBS,海量存储安全可靠,让云存储更加简单

爱科技的水月

企业存储难题难以解决?不如试试华为云OBS对象存储服务

爱科技的水月

建立客户忠诚,从编辑产品帮助文档开始!

Baklib

帮助文档 客户忠诚

架构---作业3

李某人

架构训练营 #架构训练营

设计师高效办公必备神器-呆猫云工作站

爱科技的水月

构建超级自动化平台成为战略技术趋势——Gartner:可观测性应用将成为数据驱动型决策的最强大来源

九科Ninetech

RPA 流程挖掘 数智化转型

滴滴亿级TPS数据通道架构实践_ArchSummit_薛梁Lucien_InfoQ精选文章