阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

Project Pravega ---- 支持 streaming 和实时分析的存储平台

  • 2019-09-03
  • 本文字数:708 字

    阅读完需:约 2 分钟

Project Pravega ----支持streaming和实时分析的存储平台

QCon上海2018大会上,滕昱讲师做了《Project Pravega ----支持 streaming 和实时分析的存储平台》主题演讲,主要内容如下。


演讲简介


Project Pravega 是 DELLEMC 设计并开源的用来支持实时流数据和分析的存储平台,支持存储无限的数据流并同时满足企业用户对数据持久性严格要求的产品。


Pravega 会作为 DELLEMC 给 IoT 产业提供的端到端解决方案中流存储的部分出现,另外在整个解决方案也包括流行的 stream processors, 例如 Apache Flink and Apache Spark,也包括 DELLEMC 已经发布的企业级分布式文件和对象存储平台。


Pravega 有如下特性:


  • 精确的一次性语义支持(Exactly Once schematic)

  • 业务自动伸缩支持(Auto scaling)

  • 分布式计算原语(Distributed Computing Primitive)

  • 高效的写性能(Write Efficiency)

  • 无限数据存储能力(Unlimited Retention)

  • 数据安全和持久性的支持(Durability)

  • 事务支持(Transaction Support)

听众受益

  • 了解 streaming 系统和实时分析平台的 use case 和现阶段的 solution/Architecture 的局限性

  • 了解 Project Pravega 是如何从架构上解决这些局限性

  • 分布式系统中 Exactly Once/ Transaction Support/ Auto scaling 是如何设计实现的


讲师介绍


滕昱


Dell EMC 软件开发总监


滕昱,目前就职于 DELL EMC 非结构化数据存储部门(Unstructured Data Storage) 团队并担任软件开发总监。2007 年加入 DELLEMC 以后一直专注于分布式企业云存储产品和 service 领域。先后参加并领导了中国研发团队参与两代 DELLEMC 对象存储产品的研发工作并取得商业上成功。


从 2016 年开始,兼任 Streaming 存储和实时分析系统的设计开发工作。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-03 15:102253

评论

发布
暂无评论
发现更多内容

Hyperf结合PhpOffice/PhpSpreadsheet实现Excel&CSV文件导出导入

Owen Zhang

php hyperf php扩展 PhpOffice/PhpSpreadsheet

Hadoop中mapreduce作业日志是如何生成的

华为云开发者联盟

hadoop hdfs mapreduce YARN 作业日志

大搜车面向复杂业务场景的研发运维体系治理实践

阿里云弹性计算

弹性计算 运维峰会 研发运维

Java开发Redis面试题分享

@零度

redis Java 开发

城墙上的“云镜派”,如何守护云上资产安全?

白洞计划

发挥好数字人民币促“双碳”作用

CECBC

新能力让数据多端协同更便捷,数据跨端迁移更高效!|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

微服务分布式架构中,如何实现日志链路跟踪

华为云开发者联盟

微服务 日志 分布式架构 logback 链路跟踪

如何打造一款三消类游戏

Shopee技术团队

算法 前端 游戏 Shopee Candy

Golang:定时器的终止与重置

恒生LIGHT云社区

golang 定时器 语言 Go 语言

跨平台技术实战!百度文库跨平台技术快速落地全过程

百度Geek说

跨平台 PC 百度文库

2021 OceanBase 年度报告 | 用技术让海量数据的管理和使用更简单!

OceanBase 数据库

开源 年度报告 oceanbase 成绩单

Linux之|etc|group文件

入门小站

Linux

在线HTTP/HTTPS协议GET,POST,RESTful接口测试

入门小站

工具

从内存管理原理,窥探OS内存管理机制

华为云开发者联盟

cpu 内存 内存管理 应用程序 OS

2021关键词:重新起航

faiting

数据结构算法 盘点 2021

在Windows上运行Rainbond,10分钟快速安装

北京好雨科技有限公司

Ubuntu LNMPR环境搭建(Ubuntu 20.04 + Nginx1.8 + PHP 7.3 + Mysql8.0 + Redis5.0)

Owen Zhang

ubuntu LNMPR

缓存一致性最佳实践

得物技术

缓存 分布式 数据 一致性 实践

深入解析Kafka的offset管理

编程江湖

kafka

在Mac上运行Rainbond,10分钟快速安装

北京好雨科技有限公司

C语言-函数的可变形参(不定形参)

DS小龙哥

C语言

Ubuntu 基于Nginx1.8的Golang环境搭建(Ubuntu 20.04 + Nginx1.8 + Golang 1.17 )

Owen Zhang

golang nginx ubuntu

阿里云何川:开放兼容的云,计算巢帮助合作伙伴云化升级

阿里云弹性计算

弹性计算 年度峰会 计算巢

评委拍案叫绝、项目惊喜不断,这是一届怎样的 Hackathon ?丨TiDB Hackathon 2021 回顾

PingCAP

企业管理系统可视化权限功能设计

雯雯写代码

可视化 权限 企业管理系统

『征文精选』技术翻译与术语管理技术:专业人说专业话

SphereEx

数据库 翻译 ShardingSphere 征文 SphereEx

深入理解百度在离线混部技术

百度Geek说

云计算 云原生 后端

区块链,元宇宙时代的“基础设施”

CECBC

最佳实践:青藤云安全发布国内首个K8S ATT&CK攻防矩阵

青藤云安全

抢占先机!为何说区块链通证经济象征未来?

CECBC

Project Pravega ----支持streaming和实时分析的存储平台_QCon_滕昱_InfoQ精选文章