写点什么

专访阿里云罗庆超:对象存储的过去、现在、未来

  • 2022-03-29
  • 本文字数:2691 字

    阅读完需:约 9 分钟

专访阿里云罗庆超:对象存储的过去、现在、未来

发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。

 

其实对象存储并不是一个新生事物,具有 20 多年的发展历史,那么这些年它有什么样的演变?在适应数据湖的过程中,又有哪些需要改进的地方呢?未来有什么样的发展趋势?为解答这些问题,InfoQ 采访了阿里云对象存储负责人罗庆超。

 

采访嘉宾简介:罗庆超,阿里巴巴资深技术专家,阿里云对象存储负责人,在企业存储和云存储领域有丰富的技术与产品经验。曾就职于世界 500 强以及知名跨国公司的存储团队,负责过高端存储阵列的数据路径架构设计和开发,作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现,同时在灾备以及数据管理领域亦有多年开发和运维经验。带领技术研发团队,多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统结构专业,并获得硕士学位,在相关技术研究领域,支持并参与多本行业专业书籍的编写工作,被授予包括块存储、文件存储、对象存储、数据湖等方向 30 多项发明专利,技术成果成功应用到产品创新迭代。《对象存储实战指南》图书作者。QCon 上海 2021“明星讲师”,QCon 北京 2022“数据湖存储底座”专题出品人。

 

InfoQ:您在存储行业工作多年,对象存储从 90 年代就开始出现了,是否能解释下这些年对象存储技术的主要演变?

 

罗庆超:对象存储并非近期出现的新技术,它具有 20 多年的历史,大致可以分为 3 个阶段

  • 从专有云的存储技术到产品阶段。1996 年 Paul Carpentier 创建内容寻址存储初创公司 FilePool,逐步发展出 ByCast、Caringo、CleverSafe 等产品。

  • 走向对象存储公共云服务阶段。2006 年 AWS 发布 S3 对象存储服务,在云计算领域得到大规模应用,并成为海量数据存储底座。

  • 未来向跨云对象存储资源池演进。最近 10 年出现多家公共云对象存储服务,以及专有云对象存储产品,客户构建跨云的对象存储资源池,能够在不同厂家切换,是重要演进方向。

 

整体来看,技术演进背后的核心逻辑就是“稳定可靠、弹性扩展、简单易用”。

 

InfoQ:作为一项底层技术,为什么发展到现在对象存储还备受关注?

 

罗庆超:对象存储被持续的广泛应用和关注,最关键在于“它提供简单易扩展的名字空间,通过 RESTful 接口提供在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力”。正式由于对象存储的简单易用,天然的云原生特性,在诸多领域都能看到规模的增长,特别是多媒体数据存储、大数据和数据湖存储、AI 和高性能计算存储等行业。

 

InfoQ:在选择不同厂商的对象存储解决方案时,应该从哪些关键特性来进行判断?

 

罗庆超:对象存储领域竞争异常激烈,功能同质化明显。所以除了功能外,还要从安全合规、稳定性、弹性扩展、一致性、性能、生态等维度衡量。选择不同的云方案关注点也有差异,选择公共云对象存储时,数据安全合规、全球弹性扩展、丰富的生态等通常是重要考察点;选择专有云对象存储时,稳定性、数据一致性、性能等是典型的判断点。

 

InfoQ:看阿里数据湖发展历史,从 1.0 到 2.0 的发展是从 hadoop 存储转变为对象存储,当时是有一个什么样的决策思考过程?

 

罗庆超:阿里云见证了数据湖存储发展过程,技术的演进就是解决客户需求的过程。

  • 数据湖存储 1.0 阶段。它是用 HDFS 存热数据,对象存储 OSS 存温冷数据,实现冷热分级。

  • 数据湖存储 2.0 阶段。它指数据全部采用对象存储,但在客户计算环境还需部署 HDFS 元数据。

 

通过数据湖存储 1.0 到 2.0,可以减少客户计算环境部署、运维热数据的 HDFS 集群(通常几十 PB)的痛点,只需要维护少量的元数据,从而大大降低客户的成本开销。

 

InfoQ:在您看来,云上数据湖的发展趋势对存储提出了哪些诉求?

 

罗庆超:阿里云的数据湖存储已经演进到 3.0 阶段,数据湖存储 1.0 发展到 2.0 是优化掉客户计算环境的 HDFS 热数据集群来降低成本,数据湖存储 2.0 发展到 3.0 是优化掉客户计算环境的 HDFS 元数据来减少运维难度,现在的数据湖存储 3.0 通过 OSS-HDFS 提供全兼容的接口,让 Hadoop 生态应用平滑上云。在云上数据湖的过程中,深深的感受到生态兼容、性价比、易用性是非常关键的需求。

 

InfoQ:面向云原生的存储计算分离场景下,为了应对性能瓶颈,OSS 需要在哪些地方进行针对性的优化?

 

罗庆超:众所周知,云原生的关键技术包括容器、服务网格、微服务、不可变基础设施和声明式 API,而容器的弹性伸缩、快速拉起带来迫切的性能需求,OSS 提供了如下 2 个典型的优化项:

  • 单位容量的带宽和 OPS 能力提升。整体来说就是性能密度,从而实现容器镜像的秒级拉起。

  • 热点数据加速器服务。云原生场景下,存在多个容器并发读相同数据的场景,通过热点数据的缓存加速,提高并发访问的速度。

 

InfoQ:目前企业客户(ToB)在采用对象存储方面面临哪些主要挑战或障碍?阿里如何帮助缓解这些痛点?

 

罗庆超:不同领域企业客户上云关注点有差异,但不管是互联网企业、政府,还是金融都关注如下挑战:

  • 数据如何保证安全。存储的数据要不丢不错,能够加密存储、访问,满足行业法规要求。

  • 应用如何适配。企业应用运行周期长,部分只能运行在传统存储上,暂时不支持对象存储。

  • 简单易用好运维。通常企业有自己的运维系统,如何同云运维结合,让企业更加易用。

 

阿里云通过多年和 B 端客户上云的经验积累,提供全面的安全合规能力让客户数据上云放心,构建丰富的生态支持各种应用无缝接入,实现企业易用的运维特性,从而让客户安心上云。

 

InfoQ:您如何展望下一代对象存储技术?

 

罗庆超:对象存储已经有 20 多年的历史,公共云的对象存储服务也流行了 10 多年,下一代的对象存储的演进将受到应用场景和底层技术的影响。应用场景方面,数据湖、混合云、自动驾驶等都会给对象存储带来更多的需求输入;底层技术层面,存储介质密度越来越高,但每 TB 的性能越来越差,同时 100/200G 高性能网络、众核的 CPU 已广泛流行,如何平衡存储、网络、计算成为对象存储系统设计的难点。

活动推荐

2022 年 5 月 12-14 日,QCon 全球软件开发大会落地北京,会议设置数据湖存储底座、开源运营、研发效能提升、分布式数据库、大规模集群调度等技术等 28 个方向,邀请美团、阿里、腾讯、字节、微软、华为、PingCAP 等知名公司一线技术专家现场分享其业务实践与落地经验。

 

QCon 北京站现场门票火热售卖中,8 折优惠即将结束,感兴趣的同学扫描图中二维码或可以直接联系票务经理咨询:13269078023(同微信)。



2022-03-29 14:274920

评论

发布
暂无评论
发现更多内容

测试人生 | 从跨专业手工测试转岗外包,再到 Python 测试开发,跳槽涨薪 85%!

霍格沃兹测试开发学社

笔记 | 敏捷转型常见误区及避坑指南(文末附PPT)

嘉为蓝鲸

DevOps 研发 敏捷转型 蓝鲸 嘉为

当面试官问你:如何才能带领好团队?

霍格沃兹测试开发学社

测试人生 | 半年涨薪20W入职名企大厂,这个90后妹纸凭什么这么猛?

霍格沃兹测试开发学社

测试人生 | 双非院校跨城重新开始,薪资翻了2倍还多,这个90后小姐姐好飒

霍格沃兹测试开发学社

测试人生 | 年薪50w+ 并入职名企大厂,这是双非学历小哥哥给自己30岁的礼物

霍格沃兹测试开发学社

软件测试 | 测试开发 | JAR 文件规范详解

测吧(北京)科技有限公司

测试

测试人生 | 拿到多个 offer 从了一线互联网公司并涨薪70%,90后小哥哥免费分享面试经验~

霍格沃兹测试开发学社

对话来自韩国 Kakao 的海外贡献者 | 我为什么要为 SeaTunnel 做贡献?

Apache SeaTunnel

软件测试 | 测试开发 | Python中日志异步发送到远程服务器

测吧(北京)科技有限公司

测试

开发者个人成长主题征文挑战赛正式启动!说出你的成长故事共谱青春乐章

InfoQ写作社区官方

个人成长 热门活动

测试面试 | 某互联网大厂测试面试真题,你能回答出多少?

霍格沃兹测试开发学社

测试面试真题|抖音的广告系统前后台,该如何测试?

霍格沃兹测试开发学社

测试人生 | 双非院校、入职某知名电商公司薪资翻倍还有股票奖励,这个90后小姐姐也太飒了吧?

霍格沃兹测试开发学社

测试人生 | 30 而立之年的蜕变,6 个月完成从国企到 BAT 大厂测开的华丽转身

霍格沃兹测试开发学社

测试人生 | 突破“大专学历+半路转行”标签,从拉垮菜鸟到测试团队骨干,走到这一步很知足!

霍格沃兹测试开发学社

测试面经 | 从测试螺丝钉到大厂测试开发,三点成长心得和面试经验

霍格沃兹测试开发学社

Apache Kafka 动态配置的原理与应用

移动云大数据

测试开发面试真题 | 测试老兵进阶突破,成功挑战大厂 P7 Offer!

霍格沃兹测试开发学社

测试人生 | 半年涨薪10W+,从手工+外包是如何完成蜕变的?

霍格沃兹测试开发学社

开年见礼!云开发生态激励计划上线,近万元补贴等新年福利请查收

Lily

从云原生实战峰会看2022年云原生发展动向

Lily

测试面试 | Java 经典面试题汇总

霍格沃兹测试开发学社

测试人生 | 从传统行业到名企大厂,薪资翻倍,我做到了

霍格沃兹测试开发学社

测试人生 | (汇总篇)从小团队的业务到独角兽的测开,涨薪超过60%,90后小哥哥凤凰涅槃了

霍格沃兹测试开发学社

测试面试 | 某个版本/模块问题很多,但上线时间紧迫怎么办?

霍格沃兹测试开发学社

测试面试真题|从手工到测开,一位测试媛宝妈的 BAT 大厂逆袭之旅

霍格沃兹测试开发学社

测试人生 | 做了低薪运营6年,妹纸靠什么转行拿下 20W 年薪?

霍格沃兹测试开发学社

测试人生 | 双非学历入职名企大厂还薪资翻倍?

霍格沃兹测试开发学社

ClickHouse 在海量数据下的应用实践

移动云大数据

Clickhouse

测试人生 | 毕业2年,拒绝独角兽入职名企大厂涨薪10万+,这个95后小姐姐好飒

霍格沃兹测试开发学社

专访阿里云罗庆超:对象存储的过去、现在、未来_服务革新_Tina_InfoQ精选文章