Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

阅读数:6312 2019 年 8 月 22 日 00:00

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

QCon 北京 2018 大会上,翟佳讲师做了《Apache Pulsar – 实时数据处理中消息、计算和存储的统一》主题演讲,主要内容如下。

演讲简介

实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中,Messaging,Computing 和 Storage 三个部分的分离,给方案的实现带来了高复杂性,低可维护性,低效率等问题。

本次演讲将介绍 Apache Pulsar,并展示 Apache Pulsar 怎样从这三个方面,提供一个端到端的实时数据解决方案。

Messaging:Pulsar 对 pub/sub 和 queue 两种模式提供统一的支持,同时保证了一致性,高性能和易扩展性。

Computing:Pulsar 内部的 Pulsar-Functions 提供了 Stream-native 的轻量级计算框架,保证了数据的即时流式处理。

Storage:Pulsar 借助 Apache BookKeeper 提供了以 segment 为中心的存储架构,保证了存储的性能,持久性和弹性。

Apache Pulsar 在 2016 年开源,是 Streamlio,阿里巴巴,和滴滴出行等公司一同起草的全球消息领域标准 OpenMessaging 的重要成员。希望通过这次分享,能够为大家带来对 Apache Pulsar 及其生态系统有更好的理解,和对 pub/sub 消息系统,实时处理系统的更多的认识。

听众受益

  1. 了解实时处理的三部分的特点和需求;
  2. 理解 Apache Pulsar 的特性和优势。

讲师介绍

翟佳

Streamlio 核心创始成员之一

翟佳毕业于中科院计算所,目前就职于一家下一代实时处理初创公司 Streamlio,是 Streamlio 的核心创始成员之一。在此之前任职于 EMC,是北京 EMC 实时处理平台的技术负责人。

主要从事实时计算和分布式存储系统的相关开发,是开源项目 Apache BookKeeper PMC Member 和 Committer,也在 Apache Pulsar, Distributedlog 等项目中持续贡献代码。

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

Apache Pulsar -- 实时数据处理中消息、计算和存储的统一

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/beijing/schedule

评论

发布