滴滴亿级 TPS 数据通道架构实践

阅读数:994 2019 年 9 月 10 日 14:02

滴滴亿级TPS数据通道架构实践

ArchSummit 北京 2018 大会上,张亮讲师做了《滴滴亿级 TPS 数据通道架构实践》主题演讲,主要内容如下。

演讲简介

滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。

本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。

演讲提纲

1、问题与挑战

  • 问题
  • 挑战

2、架构与优化

2.1 架构 1.0–简单、快

  • 2.1.1 架构关注点
  • 2.1.2 架构图
  • 2.1.3 存在的问题

2.2 架构 2.0–稳定、易用

  • 2.2.1 架构关注点
  • 2.2.2 架构图
  • 2.2.3 存在的问题

2.3 架构 3.0–及时、完整

  • 2.3.1 架构关注点
  • 2.3.2 架构图

3、总结与规划

听众受益

  1. 如何打造亿级 TPS 的实时数据通道,架构设计背后的思考,平台化建设的思路
  2. 如何保障数据的及时性、完整性
  3. 如何进行数据链路的延时与故障检测
  4. 如何进行故障的快速恢复
  5. 如何进行全局性的限流与降级

讲师介绍

张亮

滴滴出行 高级技术专家

2014 年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka 服务,数据检索服务的架构设计与研发工作,峰值流量 10GB/S,日增数据 800TB。

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

滴滴亿级TPS数据通道架构实践

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2018/beijing/schedule

评论

发布