【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

演讲回顾:阿里云存储技术的演进,以及云服务用例最佳实践

  • 2013-06-09
  • 本文字数:2522 字

    阅读完需:约 8 分钟

2013 年 4 月的 QCon 北京会场上,阿里云计算产品总监倪浩带来了主题为《阿里云计算的实践》的分享。在分享中,倪浩介绍了阿里云的服务体系,技术路线的选择,着重介绍了弹性计算和存储技术的演进,并且在最后介绍了使用阿里云服务的一些最佳实践。

InfoQ 编辑从本次分享中获取到一些有意思的信息如下:

云计算对客户最大的价值是什么?

成本不是关键。事实上,使用云计算有时候反而要比较贵,但是盯着省钱不如盯着赚钱。灵活性(可快速变化)和简单性(易于操作)使得云计算能够更好的为客户交付更多的价值,这才是云计算最大的价值。

为什么阿里云(包括其他大型公共云平台)要选择自己从头开发整个底层软件,而没有在现成的 OpenStack、CloudStack、Eucalyptus、Hadoop、MongoDB 等开源软件的基础上构建?

对于阿里云这样规模的业务而言,如果采用各种开源技术拼凑起来的方案,会缺乏主线的控制力,而且拼凑的过程一点都不简单。同时,各种软件几乎不可能共享集群的资源。

阿里云存储在发展过程中遭遇过哪些坑?是如何解决的?

云存储系统的业务特点在于大量的随机 IO,擦写十分频繁。

阿里云的存储系统,到目前经历过三个阶段。

第一个阶段是最原始的:所有的 VM 访问基于 RAID 的共享存储。RAID 本身并不是为了这种大量随机读写的情景设计的,同时因为 RAID 的数据都在本地,一旦宕机是无法迁移的。

第二个阶段采用了异步同步的思路:VM 过来的运行时读写先进入本地存储,同时以扇区为单位,异步向 KVEngine 做同步,KVEngine 挂在(append)阿里的分布式文件存储系统(盘古)上。这样做的好处是可以取巧的利用(不支持随机读写的)飞天盘古的数据冗余,万一本地宕机可以通过 KVEngine 中的数据在另一台机器上恢复;但是,KVEngine 异步同步数据仍然有丢失的可能。

第三个阶段是:支持随机 IO 的分布式存储系统。跟之前的 append-only 不同,这是基于盘古实现的 Random Access File(RAF)。其实现的思路是:

  • Master-slave,Master 负责元数据管理,Slave(Chunk Server)负责读写
  • 基于 Paxos 协议%E7%9A%84%E5%A4%9AMaster%E6%9E%B6%E6%9E%84">http://en.wikipedia.org/wiki/Paxos_(computer_science) 的多 Master 架构
  • 分片(文件切成 chunk 存入 Chunk Server),冗余(每个 chunk 存三个副本)

整个方案最大的挑战在于:如何保持数据一致性。这是所有分布式存储系统面临的最大问题,从理论到实现都非常复杂。

阿里云的服务类型很多,如何选择才能效果最优?

优化云服务用例的根本原则在于:知道每个服务都被设计好做一件事情。

因此,每个服务都有自己的优势,也有自己的陷阱。

比如,阿里云目前提供了不同的存储服务:

  1. 开发存储服务 (OSS)
  2. 开放结构化数据服务 (OTS)
  3. 关系型数据库服务 (RDS)

未来还会提供 Cache/Queue/CDN 等。当然,云服务器(ECS)本身也带有存储。

  • 使用 ECS 的存储当然可以,但如果你的读写很重,把压力转移到 OSS、OTS 或 RDS 上才是正途。
  • OSS 相当于一个带宽不受限、空间不受限、并发不受限的在线存储
  • OTS 适合不需要关系型操作的结构化数据
  • RDS 具备优越的读写性能(FusionIO),但总数据量要小于 1TB

网络方面,负载均衡(SLB)提供 HTTP 和 TCP,分别在不同的层面,需要考虑好自己的业务适合在哪一层做。同时,按月购买的服务器的带宽限制是完全的上行带宽(从服务器流出的带宽),下行带宽(流入服务器的带宽)是千兆规格,相当于没有限制。

InfoQ 编辑就一些读者感兴趣的问题跟倪浩进行了询问,他的回答如下:

InfoQ:阿里云部分基于 XEN,那么在 XEN 被 Citrix 收购后,如果社区活跃度下降,后续更新乏力,那么将来如何解决已经采用 XEN 运行的虚拟服务器这个问题?

倪浩:阿里云目前是基于 XEN,也在对 KVM 进行研究。未来如果 XEN 比 KVM 确实距离太大,一定会有方案能够帮助用户在线迁移。

InfoQ:如果阿里云改造后采用了公网地址沉降的办法,即运行虚拟服务器宿主机直接连接到互联网上的话,针对很多中小企业用户对如何设置防火墙以及应保护哪些端口还不是熟悉的情况以及黑客的扫描性攻击状况,如何应对?

倪浩:阿里云是公网下沉,建设大二层网络;同时提供了云盾来帮助用户抵御公网上的各种攻击,包括端口安全检测、密码破解防御等服务,同时云盾还将提供 Web 防火墙,让用户通过 Web 来配置安全策略包括端口及 IP 限制等。

InfoQ:阿里云如何解决镜像迁出的问题,即用户创建了云服务器后,如果用户长成中大企业有可能希望将云服务器移到企业内部 IT 系统上运行,阿里云的镜像格式可以允许用户随意在企业内部的 Linux 或 Windows 宿主机上运行吗?

倪浩:暂时阿里云的镜像还未能支持用户自己下载,未来会容许用户选择导出的格式(如 VHD 等)。

InfoQ:阿里云存储采用 KVEngine 大概是什么时候?采用 RAF 大概又是在什么时候?对用户来说,在 2013 年感受到的 I/O 相比之前几年,能有多大的提升?

倪浩:RAF 是大概一年半之前(2012 年初)上线的。它的主要优势是数据的高可靠性做的很好,但会损失一定的性能。

InfoQ:对于 RAF 的数据一致性实现,能否简单的介绍一下其理论?有哪些参考资料可以推荐么?

倪浩:RAF 的一致性较为复杂,简单的说,是通过 client 与 chunk server、master 通过协同对 chunk 版本的进行管理,其中,client 是协作者(因为对虚拟机来说只有一个 client 会去操作文件),而 master 是最终的版本持久化、版本决策者。

InfoQ:您在 RAF 的实现思路中提到几个需要注意的问题,如流控、复制风暴等,这是怎样的情况,能简单说明一下么?

倪浩:复制风暴是这样的:假设集群有 1000 台机器,在负载较高的情况下,其中有 1 台机器宕机了(每天都会发生),它上面的数据为了高可靠(虽然只是 N 份拷贝中的一份,但少了这台,拷贝数就变为 N-1,可靠性降低),需要被复制到其他 M 台机器上。而这 M 台机器中可能有些机器已经负载很高了,如果不做流控,那么这些机器页可能会被拖死,这样 1000 台机器的集群可能就有 5 台机器宕机。而这 5 台的机器数据又要被复制到其他机器上。如此恶性循环,可能会把整个集群拖死,这就是复制风暴。

InfoQ:阿里云是否会允许第三方合作伙伴在平台上提供类似云盾、云监控的业务?

倪浩:阿里云未来是容许用户在阿里的平台上提供云盾和云监控的业务,模式是会是和云市场合作。

2013-06-09 00:398290

评论

发布
暂无评论
发现更多内容

目前江西省等级测评公司有几家?都在南昌吗?

行云管家

江西 等保 等级保护 等保2.0

免费云堡垒机用哪个牌子软件好?包含哪些功能?

行云管家

云计算 网络安全 IT运维 云堡垒机

递归算法

linux大本营

递归 数据结构与算法

Mac无损音乐播放器:Audirvana for Mac中文

真大的脸盆

Mac Mac 软件 音乐播放 音乐播放器

C语言sqlite3,实现判断一个数据库存不存在,不存在就创建

linux大本营

数据库 C语言 sqlite3

linux下怎么拉取远程的代码并且合并到本地,保证不冲突

linux大本营

git Linux

HummerRisk V1.0.1:k8s检测扩充、批量删除及修复bug

HummerCloud

开源 云原生 云安全 云原生安全

怎样判断户外LED显示屏质量是否达标

Dylan

媒体 广告 户外LED显示屏

华为亮相KubeCon EU 2023 新云原生开源项目Kuasar推动“云上演进”

华为云开发者联盟

开源 后端 华为云 华为云开发者联盟 企业号 4 月 PK 榜

用纯python写web app:Streamlit

AIWeker

Python python小知识 三周年连更

Java 应用程序在 Kubernetes 上棘手的内存管理

做梦都在改BUG

Java Kubernetes JVM 内存管理

融云 CTO 岑裕:出海技术前沿探索和排「坑」实践

融云 RongCloud

运维 网络 融云 泛娱乐 出海

写一个回调函数

linux大本营

回调函数 C++

软件测试/测试开发丨自动化测试之读取配置文件

测试人

软件测试 自动化测试 测试开发

Ts中string、number和any等类型 不能当做索引用,怎么处理?

肥晨

三周年连更

websocket底层原理

linux大本营

nginx HTTP websocket 通信协议 web服务器

基于STM32设计避障寻迹小车

DS小龙哥

三周年连更

Android C++系列:函数返回值注意事项

轻口味

c++ android 三周年连更

ShareSDK 微信平台注册指南

MobTech袤博科技

ubuntu如何安装Json解析库Reader

linux大本营

ubuntu JSON库 reader

震撼!阿里架构师全新产出Java面试突击宝典。我觉得泰库辣!

Java你猿哥

Java redis spring Spring Boot JVM

超越YOLOv8,飞桨推出精度最高的实时检测器RT-DETR!

飞桨PaddlePaddle

人工智能 计算机视觉 目标检测 百度飞桨

canvas-绘制一个柱状图

格斗家不爱在外太空沉思

CSS canvas 三周年连更

如何在makefile中链接Json解析库Reader

linux大本营

json makefile reader

刘浩:当谈到RTO < 8s时,OceanBase究竟在说什么?

OceanBase 数据库

数据库 oceanbase

数仓实践丨主动预防-DWS关键工具安装确认

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 4 月 PK 榜

【Python实战】Python采集皮肤图片数据

BROKEN

三周年连更

SaaS 软件的 SLA 和 Escalation

Jerry Wang

SaaS Cloud 三周年连更

深入探索数据库MySQL,性能优化与复杂查询相关操作

做梦都在改BUG

Java MySQL 数据库 性能优化

用C语言实现,终端输入1.2.3.4/32,解析输出unsignedint类型的1.2.3.4和32

linux大本营

C语言

open3d将pcd存数据库

linux大本营

sqlite 数据库 存储 :MySQL 数据库

演讲回顾:阿里云存储技术的演进,以及云服务用例最佳实践_服务革新_sai_InfoQ精选文章