“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

专访阿里云罗庆超:对象存储的过去、现在、未来

  • 2022-03-29
  • 本文字数:2691 字

    阅读完需:约 9 分钟

专访阿里云罗庆超:对象存储的过去、现在、未来

发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。

 

其实对象存储并不是一个新生事物,具有 20 多年的发展历史,那么这些年它有什么样的演变?在适应数据湖的过程中,又有哪些需要改进的地方呢?未来有什么样的发展趋势?为解答这些问题,InfoQ 采访了阿里云对象存储负责人罗庆超。

 

采访嘉宾简介:罗庆超,阿里巴巴资深技术专家,阿里云对象存储负责人,在企业存储和云存储领域有丰富的技术与产品经验。曾就职于世界 500 强以及知名跨国公司的存储团队,负责过高端存储阵列的数据路径架构设计和开发,作为海量存储首席架构师负责文件存储、对象存储以及下一代分布式云存储的架构设计和实现,同时在灾备以及数据管理领域亦有多年开发和运维经验。带领技术研发团队,多次在大规模商业项目中成功落地。毕业于电子科技大学计算机系统结构专业,并获得硕士学位,在相关技术研究领域,支持并参与多本行业专业书籍的编写工作,被授予包括块存储、文件存储、对象存储、数据湖等方向 30 多项发明专利,技术成果成功应用到产品创新迭代。《对象存储实战指南》图书作者。QCon 上海 2021“明星讲师”,QCon 北京 2022“数据湖存储底座”专题出品人。

 

InfoQ:您在存储行业工作多年,对象存储从 90 年代就开始出现了,是否能解释下这些年对象存储技术的主要演变?

 

罗庆超:对象存储并非近期出现的新技术,它具有 20 多年的历史,大致可以分为 3 个阶段

  • 从专有云的存储技术到产品阶段。1996 年 Paul Carpentier 创建内容寻址存储初创公司 FilePool,逐步发展出 ByCast、Caringo、CleverSafe 等产品。

  • 走向对象存储公共云服务阶段。2006 年 AWS 发布 S3 对象存储服务,在云计算领域得到大规模应用,并成为海量数据存储底座。

  • 未来向跨云对象存储资源池演进。最近 10 年出现多家公共云对象存储服务,以及专有云对象存储产品,客户构建跨云的对象存储资源池,能够在不同厂家切换,是重要演进方向。

 

整体来看,技术演进背后的核心逻辑就是“稳定可靠、弹性扩展、简单易用”。

 

InfoQ:作为一项底层技术,为什么发展到现在对象存储还备受关注?

 

罗庆超:对象存储被持续的广泛应用和关注,最关键在于“它提供简单易扩展的名字空间,通过 RESTful 接口提供在任何时间、任何地点、任何互联网设备上进行上传和下载数据的能力”。正式由于对象存储的简单易用,天然的云原生特性,在诸多领域都能看到规模的增长,特别是多媒体数据存储、大数据和数据湖存储、AI 和高性能计算存储等行业。

 

InfoQ:在选择不同厂商的对象存储解决方案时,应该从哪些关键特性来进行判断?

 

罗庆超:对象存储领域竞争异常激烈,功能同质化明显。所以除了功能外,还要从安全合规、稳定性、弹性扩展、一致性、性能、生态等维度衡量。选择不同的云方案关注点也有差异,选择公共云对象存储时,数据安全合规、全球弹性扩展、丰富的生态等通常是重要考察点;选择专有云对象存储时,稳定性、数据一致性、性能等是典型的判断点。

 

InfoQ:看阿里数据湖发展历史,从 1.0 到 2.0 的发展是从 hadoop 存储转变为对象存储,当时是有一个什么样的决策思考过程?

 

罗庆超:阿里云见证了数据湖存储发展过程,技术的演进就是解决客户需求的过程。

  • 数据湖存储 1.0 阶段。它是用 HDFS 存热数据,对象存储 OSS 存温冷数据,实现冷热分级。

  • 数据湖存储 2.0 阶段。它指数据全部采用对象存储,但在客户计算环境还需部署 HDFS 元数据。

 

通过数据湖存储 1.0 到 2.0,可以减少客户计算环境部署、运维热数据的 HDFS 集群(通常几十 PB)的痛点,只需要维护少量的元数据,从而大大降低客户的成本开销。

 

InfoQ:在您看来,云上数据湖的发展趋势对存储提出了哪些诉求?

 

罗庆超:阿里云的数据湖存储已经演进到 3.0 阶段,数据湖存储 1.0 发展到 2.0 是优化掉客户计算环境的 HDFS 热数据集群来降低成本,数据湖存储 2.0 发展到 3.0 是优化掉客户计算环境的 HDFS 元数据来减少运维难度,现在的数据湖存储 3.0 通过 OSS-HDFS 提供全兼容的接口,让 Hadoop 生态应用平滑上云。在云上数据湖的过程中,深深的感受到生态兼容、性价比、易用性是非常关键的需求。

 

InfoQ:面向云原生的存储计算分离场景下,为了应对性能瓶颈,OSS 需要在哪些地方进行针对性的优化?

 

罗庆超:众所周知,云原生的关键技术包括容器、服务网格、微服务、不可变基础设施和声明式 API,而容器的弹性伸缩、快速拉起带来迫切的性能需求,OSS 提供了如下 2 个典型的优化项:

  • 单位容量的带宽和 OPS 能力提升。整体来说就是性能密度,从而实现容器镜像的秒级拉起。

  • 热点数据加速器服务。云原生场景下,存在多个容器并发读相同数据的场景,通过热点数据的缓存加速,提高并发访问的速度。

 

InfoQ:目前企业客户(ToB)在采用对象存储方面面临哪些主要挑战或障碍?阿里如何帮助缓解这些痛点?

 

罗庆超:不同领域企业客户上云关注点有差异,但不管是互联网企业、政府,还是金融都关注如下挑战:

  • 数据如何保证安全。存储的数据要不丢不错,能够加密存储、访问,满足行业法规要求。

  • 应用如何适配。企业应用运行周期长,部分只能运行在传统存储上,暂时不支持对象存储。

  • 简单易用好运维。通常企业有自己的运维系统,如何同云运维结合,让企业更加易用。

 

阿里云通过多年和 B 端客户上云的经验积累,提供全面的安全合规能力让客户数据上云放心,构建丰富的生态支持各种应用无缝接入,实现企业易用的运维特性,从而让客户安心上云。

 

InfoQ:您如何展望下一代对象存储技术?

 

罗庆超:对象存储已经有 20 多年的历史,公共云的对象存储服务也流行了 10 多年,下一代的对象存储的演进将受到应用场景和底层技术的影响。应用场景方面,数据湖、混合云、自动驾驶等都会给对象存储带来更多的需求输入;底层技术层面,存储介质密度越来越高,但每 TB 的性能越来越差,同时 100/200G 高性能网络、众核的 CPU 已广泛流行,如何平衡存储、网络、计算成为对象存储系统设计的难点。

活动推荐

2022 年 5 月 12-14 日,QCon 全球软件开发大会落地北京,会议设置数据湖存储底座、开源运营、研发效能提升、分布式数据库、大规模集群调度等技术等 28 个方向,邀请美团、阿里、腾讯、字节、微软、华为、PingCAP 等知名公司一线技术专家现场分享其业务实践与落地经验。

 

QCon 北京站现场门票火热售卖中,8 折优惠即将结束,感兴趣的同学扫描图中二维码或可以直接联系票务经理咨询:13269078023(同微信)。



公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2022-03-29 14:274406

评论

发布
暂无评论
发现更多内容

搜索二维矩阵②

Memorys

Java 面试 算法

软件测试基础面试常问问题

程序员阿沐

面试 软件测试 自动化测试 经验分享 测试工程师

从0开始的TypeScriptの一:启航

空城机

typescript 大前端 8月日更

十大排序算法--计数排序

Ayue、

排序算法 8月日更

iOS官方瘦身方案ODR(二):换肤系统改造|践行 On-Demand Resources

LabLawliet

ios 独立开发者 apple 优化技巧 8月日更

电商秒杀系统设计方案

Lane

阿里云-云开发平台计算篇——加强应用本身的计算能力

若尘

阿里云 云开发 8月日更

千万级学生管理系统试卷存储场景

张文龙

#架构实战营

模块四作业:千万级试卷结构设计

buoge

模块四作业

king

架构实战营基于redis哨兵模式的考试数据存储设计

慕溶枫

#架构实战营

FastApi-08-路径参数校验

Python研究所

FastApi 8月日更

prometheus介绍与安装

Rubble

Prometheus 8月日更

网络攻防学习笔记 Day99

穿过生命散发芬芳

态势感知 网络攻防 8月日更

读尽天下源码,心中自然无码

程序员阿杜

8月日更

golang--切片(slice)

en

slice Go 语言 切片

【Vue2.x 源码学习】第二十九篇 - diff算法-节点比对| 8月更文挑战

Brave

源码 vue2 8月日更

kubernetes入门:可视化界面dashboard极简安装教程

小鲍侃java

8月日更

理解 defer、panic 和 recover

Rayjun

Go 语言

python--语句的多样性

加里都好

架构实战训练营模块四作业

NewBranSTONE

架构实战营

架构实战营模块4作业

子豪sirius

架构实战营

架构实战营模块 4 作业指导

华仔

架构实战营

🏆【Git 实战专题】你知道git rebase如何让代码提交变得清晰明白吗?

洛神灬殇

git Rebase git rebase 8月日更

毕业总结

梦寐凯旋

#架构实战营

毕业设计

青鸟飞鱼

printf函数的常用格式化输出

Changing Lin

8月日更

架构实战营总结

Lane

写作 7 堂课——【3. 碎片式写作】

LeifChen

时间管理 写作技巧 8月日更 碎片化 心流

架构实战营第四周作业——考试试卷存储

发酵的死神

架构实战营

番外3. Python OpenCV 中如何绘制各种图形?

梦想橡皮擦

8月日更

专访阿里云罗庆超:对象存储的过去、现在、未来_服务革新_Tina_InfoQ精选文章