Project Pravega ---- 支持 streaming 和实时分析的存储平台

阅读数:1636 2019 年 9 月 3 日 15:10

Project Pravega ----支持streaming和实时分析的存储平台

QCon 上海 2018 大会上,滕昱讲师做了《Project Pravega ---- 支持 streaming 和实时分析的存储平台》主题演讲,主要内容如下。

演讲简介

Project Pravega 是 DELLEMC 设计并开源的用来支持实时流数据和分析的存储平台,支持存储无限的数据流并同时满足企业用户对数据持久性严格要求的产品。

Pravega 会作为 DELLEMC 给 IoT 产业提供的端到端解决方案中流存储的部分出现,另外在整个解决方案也包括流行的 stream processors, 例如 Apache Flink and Apache Spark,也包括 DELLEMC 已经发布的企业级分布式文件和对象存储平台。

Pravega 有如下特性:

  • 精确的一次性语义支持(Exactly Once schematic)
  • 业务自动伸缩支持(Auto scaling)
  • 分布式计算原语(Distributed Computing Primitive)
  • 高效的写性能(Write Efficiency)
  • 无限数据存储能力(Unlimited Retention)
  • 数据安全和持久性的支持(Durability)
  • 事务支持(Transaction Support)

听众受益

  • 了解 streaming 系统和实时分析平台的 use case 和现阶段的 solution/Architecture 的局限性
  • 了解 Project Pravega 是如何从架构上解决这些局限性
  • 分布式系统中 Exactly Once/ Transaction Support/ Auto scaling 是如何设计实现的

讲师介绍

滕昱

Dell EMC 软件开发总监

滕昱,目前就职于 DELL EMC 非结构化数据存储部门 (Unstructured Data Storage) 团队并担任软件开发总监。2007 年加入 DELLEMC 以后一直专注于分布式企业云存储产品和 service 领域。先后参加并领导了中国研发团队参与两代 DELLEMC 对象存储产品的研发工作并取得商业上成功。

从 2016 年开始,兼任 Streaming 存储和实时分析系统的设计开发工作。

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

Project Pravega ----支持streaming和实时分析的存储平台

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/shanghai/schedule

评论

发布