高可用分布式流数据存储设计

阅读数:3724 2019 年 8 月 6 日 08:00

高可用分布式流数据存储设计

QCon 北京 2019 大会上,李玥讲师做了《高可用分布式流数据存储设计》主题演讲,主要内容如下。

演讲简介

每天,超过千亿交易相关的数据在京东数千个系统中高速流转。实现数据流在超大规模集群系统之间高性能流转同时,确保数据的高可靠、高可用、一致性对京东的消息中间件系统是一项艰巨的技术挑战。

高性能、高可用、高可靠的流数据存储提供数据持久化能力,是未来分布式计算不可或缺的基础设施之一。其不仅用于构建分布式消息中间件,在诸多计算场景中均有广泛的应用:

  1. 结合流计算框架构建下一代存储计算分离的可靠流计算应用;
  2. 大数据系统中构建可靠的 Connector,用于连接数据源和大数据应用以及大数据应用之间的数据互联;
  3. 用于海量日志和监控数据的存储;
  4. 通过 Binlog 复制实现各类数据库和存储类系统的高可用架构。

本次演讲的主要介绍了京东高可用分布式流数据存储系统的架构,内容涵盖:

  1. 流数据存储集群的高可用架构设计;
  2. 数据强一致性保证:改进于 Raft 的流数据选举和复制机制;
  3. 理解数据流的特性和针对性性能优化手段。

听众收益

  1. 如何利用流数据存储构建高可靠分布式应用;
  2. 基于 Raft 设计去中心化、强一致分布式系统的要点;
  3. 使用 CAS 原语替代锁实现单节点百万级 TPS 的设计思路;
  4. 高性能流数据存储设计中的 IO 优化思路和最佳实践。

讲师介绍

李玥

京东集团 中台技术架构部资深架构师

李玥,京东集团中台技术架构部资深架构师。负责主导设计新一代京东消息中间件系统,专注于流数据的一致性分发和可靠存储,分布式实时计算、高可用分布式系统架构等技术领域。从事互联网研发、架构 10 余年,曾在浪潮集团、当当网等公司任职架构师相关工作。2017 年加入京东,期间提升京东商城相关系统的性能和吞吐量数倍。目前致力于推进京东基础架构技术的创新、对外赋能与开源。

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

高可用分布式流数据存储设计

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2019/beijing/schedule

评论

发布