写点什么

大数据云的数据交换共享平台的架构探索

  • 2019 年 9 月 12 日
  • 本文字数:800 字

    阅读完需:约 3 分钟

大数据云的数据交换共享平台的架构探索

ArchSummit深圳2018大会上,李光跃讲师做了《大数据云的数据交换共享平台的架构探索》主题演讲,主要内容如下。


演讲简介


容器技术的兴起催生出一系列基于容器的应用,而容器云正是其中的重要应用之一,在容器云中,大数据云是当前发展火热的方向之一。星环在过去的几年中,一直着力于容器技术(Docker,Kubernetes)的探索,并成功的将 Hadoop 平台包括自身的诸多产品全部云化,在这其中做了非常多的优化和改进使得大数据服务在容器中能够稳定且高效的运行,比如有状态容器本地存储,存储感知调度,数据局部性优化计算等等。由于容器独特的存储,网络的隔离性,多租户实现在容器云平台上体现的尤为简单,但是同时,这也为数据共享交换带来了难度,比如大数据平台本身的安全机制,容器空间的相互隔离,巨量数据流转以及业务层面的合规性要求等等。在原有的数据交换架构并无法满足容器云上数据交换需求的情况下,星环探索了全新的数据交换的架构设计,最终实现了多租户场景下的,租户和云平台间以及租户和传统大数据平台安全数据共享交换。


在本次分享中,将会着重分享分布式文件系统,分布式数据库上的数据共享交换的架构和实现。主要从多租户模型,权限管控,数据管理,任务调度和生命周期管理,工单审批/通知系统以及数据应用等对架构进行阐述,同时描述该架构在高性能、高可用、高并发的方面所做的工作以及下一步迭代改进的方向。


  1. 星环大数据云平台简介

  2. 云平台上数据共享交换

  3. i. 数据共享交换的业务场景

  4. ii. 数据共享交换所需要解决的难题

  5. 数据共享交换实现

  6. i. 架构介绍

  7. ii. 安全与权限

  8. iii. 任务和调度

  9. iv. 性能和优化

  10. 改进计划和未来展望


讲师介绍


李光跃


星环科技 数据云架构师


2015 年于南京大学计算机科学与技术系毕业后加入星环工作至今。现主要负责容器云平台上数据相关技术的研究,内容大致涵盖数据共享交换,数据治理,数据资产化等等。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019 年 9 月 12 日 14:471121

评论

发布
暂无评论
发现更多内容

多线程详解第3讲:线程状态,感悟分享

Java 程序员 后端

大厂面试题:有了G1还需要其他垃圾回收器吗?我教你怎么答

Java 程序员 后端

头条「2020最新」Spring最易学习教程,百度java面试经验

Java 程序员 后端

如何在Spring Boot应用中优雅的使用Date和LocalDateTime

Java 程序员 后端

如何快速成长为技术大牛?阿里资深技术专家的总结亮了!

Java 程序员 后端

大厂面试题中爱问的「调度算法」,分享一波阿里、字节、腾讯、美团等精选大厂面试题

Java 程序员 后端

天真,居然还有人认为java的参数传递方式是引用传递(1)

Java 程序员 后端

太牛了,Github上标星30K+的SpringBoot实战电商项目mall

Java 程序员 后端

太狠了,Spring全家桶笔记,一站式通关全攻略,已入职某厂涨薪18K

Java 程序员 后端

太狠了!阿里技术官熬夜半年肝出来的Spring Boot巅峰之作,爱了

Java 程序员 后端

大学毕业年的找工作和学习总结,java中级开发工程师面试题

Java 程序员 后端

太厉害了,终于有人把TCP-IP协议整合成864页学习笔记了

Java 程序员 后端

天才第一步!Java架构速成笔记必备精品成就年薪百万,掌门一对一java面试流程

Java 程序员 后端

天真,居然还有人认为java的参数传递方式是引用传递,互联网java工程师面试突击训练网盘

Java 程序员 后端

如何保证Redis与数据库的双写一致性?,十分钟带你看懂Netty如何实现C-S

Java 程序员 后端

如何在今年难找工作的大环境下成功入职阿里?Java架构师面试高频300题:集合

Java 程序员 后端

大厂面试官:千万级数据量的表,如何进行快速查询,springmvc源码书籍

Java 程序员 后端

大四实习生”都四面成功拿到字节跳动Offer了,你还有什么理由去摸鱼

Java 程序员 后端

太为难我了,阿里面试了7轮(5年经验,java百度图像识别接口

Java 程序员 后端

架构实战营 - 毕业总结

雪中亮

架构实战营 #架构实战营

如何使用Spring Cloud Consul的其他配置和发现功能,不会来学

Java 程序员 后端

如何在分布式系统中正确的使用缓存?别给你的项目引入定时炸弹!

Java 程序员 后端

模块二作业

double蠢

「架构实战营」

大厂面试题中爱问的「调度算法」(1),java后端技术栈图谱

Java 程序员 后端

天天阿里,不如先吃透阿里技术官私藏的分布式笔记,最少能到P6

Java 程序员 后端

太全了吧!阿里面试官纯手打:金三银四跳槽必会Java核心知识点笔记整理

Java 程序员 后端

太强了!阿里大神亲码“SpringCloud核心手册,2021Java常见笔试题

Java 程序员 后端

太难了,救救孩子吧,到现在还搞不懂TCP的三次握手四次挥手

Java 程序员 后端

太难了,面试官不讲武德!来骗来偷袭,分层架构图案例

Java 程序员 后端

如何保证高可用?搞定三种集群模式,Redis还不是手到擒来

Java 程序员 后端

大厂面试算法到底有多重要?学会这份算法宝典,随便暴打头条面试官

Java 程序员 后端

大数据云的数据交换共享平台的架构探索_ArchSummit_李光跃_InfoQ精选文章