深入探讨跨端、IoT 动态开发、DevOps等大前端方向热门技术话题,这里直达 了解详情
写点什么

专访阿里云罗庆超:对象存储的过去、现在、未来

  • 2022 年 3 月 29 日
  • 本文字数:2691 字

    阅读完需:约 9 分钟

专访阿里云罗庆超:对象存储的过去、现在、未来

发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。

 

其实对象存储并不是一个新生事物,具有 20 多年的发展历史,那么这些年它有什么样的演变?在适应数据湖的过程中,又有哪些需要改进的地方呢?未来有什么样的发展趋势?为解答这些问题,InfoQ 采访了阿里云对象存储负责人罗庆超。

 

采访嘉宾简介:罗庆超,阿里巴巴资深技术专家,阿里云对象存储负责人,在企业存储和云存储领域有丰富的技术与产品经验。曾就职于世界 500 强以及知名跨国公司的存储团队,负责过高端存储阵列的数据路径架构设计和开发,作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现,同时在灾备以及数据管理领域亦有多年开发和运维经验。带领技术研发团队,多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统结构专业,并获得硕士学位,在相关技术研究领域,支持并参与多本行业专业书籍的编写工作,被授予包括块存储、文件存储、对象存储、数据湖等方向 30 多项发明专利,技术成果成功应用到产品创新迭代。《对象存储实战指南》图书作者。QCon 上海 2021“明星讲师”,QCon 北京 2022“数据湖存储底座”专题出品人。

 

InfoQ:您在存储行业工作多年,对象存储从 90 年代就开始出现了,是否能解释下这些年对象存储技术的主要演变?

 

罗庆超:对象存储并非近期出现的新技术,它具有 20 多年的历史,大致可以分为 3 个阶段

  • 从专有云的存储技术到产品阶段。1996 年 Paul Carpentier 创建内容寻址存储初创公司 FilePool,逐步发展出 ByCast、Caringo、CleverSafe 等产品。

  • 走向对象存储公共云服务阶段。2006 年 AWS 发布 S3 对象存储服务,在云计算领域得到大规模应用,并成为海量数据存储底座。

  • 未来向跨云对象存储资源池演进。最近 10 年出现多家公共云对象存储服务,以及专有云对象存储产品,客户构建跨云的对象存储资源池,能够在不同厂家切换,是重要演进方向。

 

整体来看,技术演进背后的核心逻辑就是“稳定可靠、弹性扩展、简单易用”。

 

InfoQ:作为一项底层技术,为什么发展到现在对象存储还备受关注?

 

罗庆超:对象存储被持续的广泛应用和关注,最关键在于“它提供简单易扩展的名字空间,通过 RESTful 接口提供在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力”。正式由于对象存储的简单易用,天然的云原生特性,在诸多领域都能看到规模的增长,特别是多媒体数据存储、大数据和数据湖存储、AI 和高性能计算存储等行业。

 

InfoQ:在选择不同厂商的对象存储解决方案时,应该从哪些关键特性来进行判断?

 

罗庆超:对象存储领域竞争异常激烈,功能同质化明显。所以除了功能外,还要从安全合规、稳定性、弹性扩展、一致性、性能、生态等维度衡量。选择不同的云方案关注点也有差异,选择公共云对象存储时,数据安全合规、全球弹性扩展、丰富的生态等通常是重要考察点;选择专有云对象存储时,稳定性、数据一致性、性能等是典型的判断点。

 

InfoQ:看阿里数据湖发展历史,从 1.0 到 2.0 的发展是从 hadoop 存储转变为对象存储,当时是有一个什么样的决策思考过程?

 

罗庆超:阿里云见证了数据湖存储发展过程,技术的演进就是解决客户需求的过程。

  • 数据湖存储 1.0 阶段。它是用 HDFS 存热数据,对象存储 OSS 存温冷数据,实现冷热分级。

  • 数据湖存储 2.0 阶段。它指数据全部采用对象存储,但在客户计算环境还需部署 HDFS 元数据。

 

通过数据湖存储 1.0 到 2.0,可以减少客户计算环境部署、运维热数据的 HDFS 集群(通常几十 PB)的痛点,只需要维护少量的元数据,从而大大降低客户的成本开销。

 

InfoQ:在您看来,云上数据湖的发展趋势对存储提出了哪些诉求?

 

罗庆超:阿里云的数据湖存储已经演进到 3.0 阶段,数据湖存储 1.0 发展到 2.0 是优化掉客户计算环境的 HDFS 热数据集群来降低成本,数据湖存储 2.0 发展到 3.0 是优化掉客户计算环境的 HDFS 元数据来减少运维难度,现在的数据湖存储 3.0 通过 OSS-HDFS 提供全兼容的接口,让 Hadoop 生态应用平滑上云。在云上数据湖的过程中,深深的感受到生态兼容、性价比、易用性是非常关键的需求。

 

InfoQ:面向云原生的存储计算分离场景下,为了应对性能瓶颈,OSS 需要在哪些地方进行针对性的优化?

 

罗庆超:众所周知,云原生的关键技术包括容器、服务网格、微服务、不可变基础设施和声明式 API,而容器的弹性伸缩、快速拉起带来迫切的性能需求,OSS 提供了如下 2 个典型的优化项:

  • 单位容量的带宽和 OPS 能力提升。整体来说就是性能密度,从而实现容器镜像的秒级拉起。

  • 热点数据加速器服务。云原生场景下,存在多个容器并发读相同数据的场景,通过热点数据的缓存加速,提高并发访问的速度。

 

InfoQ:目前企业客户(ToB)在采用对象存储方面面临哪些主要挑战或障碍?阿里如何帮助缓解这些痛点?

 

罗庆超:不同领域企业客户上云关注点有差异,但不管是互联网企业、政府,还是金融都关注如下挑战:

  • 数据如何保证安全。存储的数据要不丢不错,能够加密存储、访问,满足行业法规要求。

  • 应用如何适配。企业应用运行周期长,部分只能运行在传统存储上,暂时不支持对象存储。

  • 简单易用好运维。通常企业有自己的运维系统,如何同云运维结合,让企业更加易用。

 

阿里云通过多年和 B 端客户上云的经验积累,提供全面的安全合规能力让客户数据上云放心,构建丰富的生态支持各种应用无缝接入,实现企业易用的运维特性,从而让客户安心上云。

 

InfoQ:您如何展望下一代对象存储技术?

 

罗庆超:对象存储已经有 20 多年的历史,公共云的对象存储服务也流行了 10 多年,下一代的对象存储的演进将受到应用场景和底层技术的影响。应用场景方面,数据湖、混合云、自动驾驶等都会给对象存储带来更多的需求输入;底层技术层面,存储介质密度越来越高,但每 TB 的性能越来越差,同时 100/200G 高性能网络、众核的 CPU 已广泛流行,如何平衡存储、网络、计算成为对象存储系统设计的难点。

活动推荐

2022 年 5 月 12-14 日,QCon 全球软件开发大会落地北京,会议设置数据湖存储底座、开源运营、研发效能提升、分布式数据库、大规模集群调度等技术等 28 个方向,邀请美团、阿里、腾讯、字节、微软、华为、PingCAP 等知名公司一线技术专家现场分享其业务实践与落地经验。

 

QCon 北京站现场门票火热售卖中,8 折优惠即将结束,感兴趣的同学扫描图中二维码或可以直接联系票务经理咨询:13269078023(同微信)。



2022 年 3 月 29 日 14:273366

评论

发布
暂无评论
发现更多内容

两面翻转盒子案例(3d效果)

赫鲁小夫

4月日更

阿里团队教科书:SpringBoot全优笔记,面面俱到太全了

Java架构师迁哥

IDEA 文档插件 DocView 版本更新:支持编辑文档注释

程序员小航

IDEA idea插件 文档生成 Doc View

项目优化-代码拆分

Darren

android 组件化 代码优化

你的Parquet该升级了:IOException: totalValueCount==0问题定位之旅

华为云开发者联盟

sql spark ETL任务 Parquet totalValueCount

新纪元·新生态!聚焦前沿科技,拥抱万物智联——2021开源科技节重磅来袭!

解决了这5大障碍,才能用好混合云!

浪潮云

混合云

工作中的设计模式 —— 原型模式

程序员小航

Java 设计模式

史上最全的Java面试题库宝典,Github上标星200k,太香了!

Java架构之路

Java 程序员 架构 面试 编程语言

秒合约交易系统开发|秒合约交易APP软件开发

系统开发

四面字节斩获offer,二十不惑的年纪我的人生就这样第一次的走上了正轨,看到了前途希望与光明

钟奕礼

Java 编程 程序员 架构 面试

数字货币期权交易系统开发|数字货币期权交易APP软件开发

系统开发

锁仓挖矿系统开发|锁仓挖矿APP软件开发

系统开发

二十八分钟,带你用gitlab向企业微信发出灵魂拷问

📿

Java gitlab gitlab ci

涨薪15K,从小公司成功逆袭,拿到美团P2-3级offer(面经+心得)

Java架构师迁哥

匪夷所思?双非本末的我是如何六面阿里 --最终斩获Java岗P7offer

钟奕礼

Java 编程 程序员 架构 面试

架构学习模块一作业

架构实战营

架构实战训练营

Nick~毓

低代码平台选型的道与术

人称T客

Elasticsearch入门,看完又要会!慎点

比伯

Java 架构 面试 程序人生 架构师

架构实战营 模块一 作业

PB

架构实战营

量化策略交易系统,马丁策略平台搭建

我能斩获自己跳动offer,全靠在一周内肝完这426页阿里面试通关手册,

钟奕礼

Java 编程 程序员 架构 面试

辽宁重点人员管控系统搭建,指挥调度系统搭建

全网最全人工智能专业术语表(中英文对照)

澳鹏Appen

人工智能 大数据 数据 科技互联网 专业术语

2021最新分享阿里P6面经及心得

比伯

Java 架构 面试 程序人生 计算机

HDFS的block块和副本机制

大数据技术指南

hadoop hdfs 4月日更

架构实战营模块一作业

冷大大

作业 架构实战营 模块一

音频应用类开源 Demo 大盘点

anyRTC开发者

ios android 音视频 WebRTC RTC

跟单交易系统开发|跟单交易APP软件开发

系统开发

ArchSummit全球架构师峰会北京站

ArchSummit全球架构师峰会北京站

专访阿里云罗庆超:对象存储的过去、现在、未来_云计算_Tina_InfoQ精选文章