滴滴亿级TPS数据通道架构实践

2019 年 9 月 10 日

滴滴亿级TPS数据通道架构实践

ArchSummit北京2018大会上,张亮讲师做了《滴滴亿级 TPS 数据通道架构实践》主题演讲,主要内容如下。


演讲简介


滴滴每天服务几千万人次出行的过程中,产生了海量的行为、日志(log/binlog)数据,这些数据需要及时、完整的同步到大数据体系中,以满足数据仓库,实时计算、Trace 与监控系统、安全管控平台,客服与 Miss 系统等场景的数据同步需求。面对数以万计的服务节点,数以千计的数据库实例,复杂的线上环境,严格的资源消耗,秒级的延时要求,提供一个稳定、及时、安全、易用的数据通道是一个充满挑战的问题。


本次我将分享滴滴在数据通道的架构过程中,踩过的坑、架构的演进、背后的思考。


演讲提纲


1、问题与挑战


  • 问题

  • 挑战


2、架构与优化


2.1 架构 1.0–简单、快


  • 2.1.1 架构关注点

  • 2.1.2 架构图

  • 2.1.3 存在的问题


2.2 架构 2.0–稳定、易用


  • 2.2.1 架构关注点

  • 2.2.2 架构图

  • 2.2.3 存在的问题


2.3 架构 3.0–及时、完整


  • 2.3.1 架构关注点

  • 2.3.2 架构图


3、总结与规划


听众受益


  1. 如何打造亿级TPS的实时数据通道,架构设计背后的思考,平台化建设的思路

  2. 如何保障数据的及时性、完整性

  3. 如何进行数据链路的延时与故障检测

  4. 如何进行故障的快速恢复

  5. 如何进行全局性的限流与降级


讲师介绍


张亮


滴滴出行 高级技术专家


2014 年加入滴滴出行,目前就职于滴滴出行基础平台部,具有丰富的大数据架构经验,目前负责公司级的数据通道服务、Kafka 服务,数据检索服务的架构设计与研发工作,峰值流量 10GB/S,日增数据 800TB。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/beijing/schedule


2019 年 9 月 10 日 14:021278
用户头像

发布了 24 篇内容, 共 21.9 次阅读, 收获喜欢 100 次。

关注

评论

发布
暂无评论
  • 第六周作业

    简述CAP原理

    2020 年 7 月 15 日

  • 你们需要的 PPT 和视频 @数据存储与微服务架构实践沙龙

    本文转载自公众号携程技术(ID:ctriptech)。

  • JVM 架构 && 秒杀总结

    JVM架构&&秒杀总结

    2020 年 8 月 5 日

  • 架构训练营第八周 - 作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020 年 7 月 28 日

  • 前隆科技微服务实践的那些事

    2018 年 12 月 18 日

  • 外卖风控实时数仓实践

    在 ArchSummit 北京 2019 大会上,蔡敏讲师做了《外卖风控实时数仓实践》主题演讲。

  • MTU 与 IP 报文分片

    2019 年 9 月 10 日

  • 百度服务可用性工程建设

    2019 年 1 月 2 日

  • Week 9 作業

    Week 9 作業

    2020 年 11 月 21 日

  • week8-- 课后作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020 年 7 月 30 日

  • 【架构思维 - 学习总结】week03

    多想,多思考

    2020 年 6 月 25 日

  • 达达双云双活实践

    在过去6年业务飞速发展中,达达集团始终秉承“万千好物 即时可得“的初心和愿景,不断迭代升级技术能力,持续提升履约效率和服务体验。为保障业务系统稳定运行,我们在数据源高可用、容量弹性和多活容灾等方面进行了深耕,本文主要分享双云双活容灾的建设实践

    2020 年 9 月 10 日

  • 滴滴出行数据应用平台建设实践

    在 ArchSummit 北京 2019 大会上,郑秋野讲师做了《滴滴出行数据应用平台建设实践》主题演讲。

  • 架构训练营第七周作业

    用你熟悉的编程语言写一个 web 性能压测工具,输入参数:URL,请求总次数,并发数。输出参数:平均响应时间,95% 响应时间。用这个测试工具以 10 并发、100 次请求压测 www.baidu.com。

    2020 年 7 月 21 日

  • week8- 作业一

    1、有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,也可能不合并,如下图所示的这样。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020 年 12 月 14 日

  • 快手万亿级别 Kafka 集群应用实践与技术演进之路

    2019 年 6 月 11 日

  • 知名大厂如何搭建大数据平台?

    今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。

    2019 年 1 月 1 日

  • CAP 原理

    1 CAP中的C(Consistency)是指一致性,A(Availability)是指可用性,P(Partition tolerance)是指分区容错性,三个特性组成不可能三角,通常只能满足其中的两项,不可能都满足,需要根据需求和系统特性做取舍。分布式系统一般都需要做分区容错,所以这是一

    2020 年 11 月 1 日

  • 分布式系统(上):学会用服务等级协议 SLA 来评估你的系统

    定义好一个系统架构的SLA,对于一个优秀的架构师来说是必不可少的一项技能,也是一种基本素养。

    2019 年 4 月 24 日

发现更多内容

计算机揭秘之:网络分类和性能分析

程序那些事

TCP 计算机网络 网络协议 计算机基础 udp

防止数据重复提交的6种方法(超简单)!

王磊

Java

第六周作业

Geek_a327d3

Week 06 命题作业

Jeremy

LeetCode题解:141. 环形链表,JavaScript HashMap,详细注释

Lee Chen

LeetCode 前端进阶训练营

《北京市政务服务领域区块链应用创新蓝皮书(第一版)》正式发布

CECBC区块链专委会

区块链加持的家用摄像头能拯救你的隐私吗?

CECBC区块链专委会

以中立性的立场看Severless的目标和流派

韩超

云原生 serverles

Python的四种作用域及调用顺序

Young先生

Python 局部作用域 全局作用域

我想模糊删除redis key🤔

山中兰花草

Java lua redis 面试 批量任务

聊聊Dubbo(二):简单入门

猿灯塔

可读代码编写炸鸡六 - 控制流尽量向前奔涌就好,不要分心

多选参数

代码 代码优化 代码规范 可读代码编写 可读代码

平价又好用的学习电脑小轩PRO来啦,为孩子创造超强学习体验

飞天鱼2017

第六周总结

Geek_a327d3

图解:如何实现最小生成树

淡蓝色

Java 数据结构 算法

可读代码编写炸鸡七 - 表达式太长就拆

多选参数

代码质量 代码组织 代码规范 可读代码编写 可读代码

寻找握剑的手,青睐懂行的人

脑极体

CAP原理

jason

解决问题 1474 个,Flink 1.11 究竟有哪些易用性上的改善?

Apache Flink

flink

MQTT的搭建、测试、应用及小程序的集成!

诸葛小猿

物联网 IoT mqtt broker

毕业半年的憨憨,将公司的代码上传到GitHub上了

诸葛小猿

GitHub 代码上传

企业架构框架之TOGAF

Winfield

企业架构

如何进行需求梳理及埋点方案设计

易观大数据

30分钟学会应用正则表达式

墨灵

正则表达式 前端进阶训练营

分布式事务解决方案Seata源码解析

Chank

Java 分布式 分布式事务

单例模式的几种写法你用的哪种?

Java小咖秀

Java 设计模式 23种设计模式

朱嘉明:区块链成为经济转型、形成产业新业态的技术手段

CECBC区块链专委会

林左鸣 史瑞华:人类应鼎力进行的探索

CECBC区块链专委会

Flask-Restful 中 fileds.DateTime 不支持 strftime 格式

Leetao

Python flask web开发 Python框架 flask-restful

Week 06学习总结

Jeremy

【API进阶之路】老板给我涨薪30%!如何通过SDK接口搞定千万级流量直播

华为云开发者社区

运维 服务器 直播 云服务 华为云

滴滴亿级TPS数据通道架构实践-InfoQ