AICon日程100%就绪,9折倒计时最后一周 了解详情
写点什么

AWS 之旅:混合云构建及常见的应用场景

  • 2019-11-06
  • 本文字数:5601 字

    阅读完需:约 18 分钟

AWS之旅:混合云构建及常见的应用场景

混合云融合了公有云和私有云,是企业上云的中间之旅,也是云计算发展过程中的一种模式和阶段。出于如信息保密、行业合规、市场细分等因素或考虑,有些企业更愿意将数据存放在本地数据中心或私有云中,但是同时又希望可以获得公有云的计算资源、存储资源。在这种情况下,混合云在企业上云之初被广泛的采用。

1 构建混合云的关键技术点

1.1 网络连接


第一点,公有云具备用户自定义网络的能力。这里自定义网络泛指云上的私有网络,Amazon VPC 允许企业用户在 AWS 云上自定义逻辑隔离的专用网络的能力,包括允许用户可以自行划分子网、配置路由,设置公网、VPN 网关等基础能力。


第二点,多样、稳定的网络接入能力。混合云最突出的特点就是连接,连接方式主要分为两种:公网接入和专线接入。


为保护用户的信息安全,公网接入在 Internet 上的流量通常需要经过 IPsec VPN 加密,AWS 提供了托管 VPN 服务和用户自建 VPN 两种方式,如果采用用户自建方式,一般小型 VPN 网关(200Mbps 以下)可以通过虚拟软件 VPN 网关实现,中或大型 VPN 网关(300Mbps 及以上)可通过硬件 VPN 网关设备实现。VPN 部署一般半天即可完成,可以快速满足企业用户需求。


AWS Direct Connect(简称 DX 专线)为企业上云提供了专线接入能力,能够全时段、全方位的保障用户数据传输隔离加密,并保证可用网络带宽,用户无需担心容量太大而无法承载的问题。



示图 1:AWS DX 专线与 VPN 混合组网示意图


1.2 安全与监控


混合云在网络层面上将私有云和公有云进行了连接,如果发生网络故障或者攻击,需要有能力保障网络间故障不会相互影响,将攻击或者故障限制在一定范围之内。云上的网络环境需要具备灵活、易配置的网络安全访问控制能力。Amazon VPC 提供了有状态的 EC2 实例级别的网络防火墙功能(安全组),还则提供了无状态的子网级别的网络访问控制(网络 ACL)。


监控方面,Amazon VPC 提供了流日志(flow log)功能,可以利用此项功能来捕获传入和传出的网络 IP 流量信息。流日志数据使用 Amazon CloudWatch Logs 存储,创建流日志后,用户可以在 Amazon CloudWatch Logs 中监控和查看其 VPC 网络的流量传入和传出状态,并可通过 CloudWatch 预设告警策略以及时反馈网络异常。VPC 流日志还可以帮助用户排查网络故障等问题,比如流量为什么没有进入到 EC2 实例的原因。另外,针对 VPC 流日志的分析,可以帮助检查 AWS 云上的网络安全设置,消除网络安全漏洞。


1.3 统一服务,混合云管理平台


云管理平台的定义是 Gartner 提出来的,总结起来就是两块,第一是管理,管理公有云、私有云,形成混合云。第二是自服务,镜像划分,计量与计费,以及基于策略的负载优化。云管理平台最终的目标是应用在云平台上运行时取得最优化的效果。


企业用户构建混合云平台之后,首先需要解决的就是服务门户的统一,资源状态监控界面的统一,在一个平台上实现本地数据中心(或私有云)和公有云资源的统一申请、统一审批、统一监控、统一计费。这样能够大幅度降低用户跨平台切换带来的复杂运维工作量,让用户跨平台的资源使用与监控更加方便。



示图 2:混合云管理平台(CMP)功能示例图

2 常见的混合云应用场景

2.1 利用 AWS 公有云应对业务的爆发式增长


大多数互联网业务呈指数型增长,很难预测基础设施的储备量。一般在业务成长初期很长一段时间内,小规模的物理机托管可以满足用户需求。但随着市场推广活动展开,业务规模爆发增长,原物理托管机房可部署机位有限,只能选择公有云作为弹性手段,快速部署业务,满足用户需求。


今天已经有越来越多的企业用户将他们的互联网业务系统,诸如电子商务系统、Web 网站、移动端产品和信息订阅服务系统迁移到 AWS 云上。应对业务规模爆发增长的用户需求,AWS 云服务采用多种方式确保应用系统的可靠性和稳定性,作为最基础的云服务,Amazon EC2 提供了大小可调的计算容量,用户可以根据自己的实际需求,完全控制所需的计算资源。配合 AWS 的 Auto Scaling 功能,用户可以按照事先设定的条件自动扩展 Amazon EC2 容量,确保所使用的 Amazon EC2 数量在需求峰值期间实现无缝增长以保持性能,同时也可以在需求平淡期间自动减少 Amazon EC2 数量以降低成本。此外,Elastic Load Balancing 可以在多个 Amazon EC2 实例之间自动分配应用程序的访问流量,也可以检测出系统中不健康的实例并自动更改路由,将应用的访问流量导向健康的实例。通过不同功能云服务之间的组合,AWS 云平台可以确保应用系统的高可靠性和稳定性。



示图 3:混合云架构下的电商平台三层系统架构图


与早期基于传统数据中心的系统相比,依托 AWS 云平台的新系统在稳定性、可靠性和响应速度等方面都有了极大的提升,同时大幅度降低了固定资产投资(CAPEX)和运营成本(OPEX)。在传统数据中心模式下,用一台服务器的寿命大约为 5 年来计算,购入一台与 Amazon EC2 c3.4xlarge 机型(16 vCPU,30 GB 内存)配置对应的物理服务器,加上网络和托管费用, 核算出 5 年的总费用;如果按这个需求迁移到 AWS 云平台后,企业用户在总费用上可以节省 20%。


使用 AWS 云服务也大幅度降低了用户的运营成本。在传统数据中心模式,企业用户的运维团队工作任务繁重,需要做很多简单、重复的工作,比如服务器的上下架、系统重装、硬件检修等。采用 AWS 云服务之后,运维人员可以把主要精力放在研究和部署更好的技术架构和方案上,提升了工作效率,减少了人力投入,运维人员的人力成本可以节省一半左右。


2.2 利用 AWS 公有云实现多地容灾的高可用架构部署


与前一类用户不一样,很多企业用户已经具有很大规模,在本地数据中心或运营商机房中运行大量服务器,他们的核心问题不再是担心基础设施部署速度无法满足业务增长,更多的是从稳定性、可靠性等寻求从单中心向多中心化发展,通过消灭单点,解决单数据中心故障带来的业务风险。


根据业务可靠性要求不同,一般多地容灾常见的采用方式有同城容灾、异地双活、两地三中心等。按照传统建设模式,用户只能重新选址并租赁数据中心,发起服务器、网络设备采购,部署网络环境等,中间涉及到一系列的商务沟通、基础设施建设等操作,周期往往从 6 个月到 1 年不等。而在公有云蓬勃发展的今天,他们可以不必担心此类问题,直接注册个账号,购买服务器,拉个专线,基础架构就搞定了。


AWS 的混合云容灾架构,就是在 AWS 的云环境中实现“两地三中心”,同时利用 AWS 云中资源的弹性大幅度降低资源成本和建设以及运维的复杂性。AWS 云资源池通过软件定义的方式,能够打造与企业内部完全相同的复杂 IT 环境,实现企业级应用的完整镜像。


成立于 2005 年的 IGG,是全球领先的手机游戏开发商及运营商,为全球游戏玩家提供游戏和相关服务。为了给玩家提供最佳的用户体验,IGG 需要在全球多个区域部署服务器。在使用 AWS 云服务之前,IGG 拥有自建的机房,同时也采用多家公司的主机租用服务。随着业务的快速发展,原有的服务部署模式开始面临多方面的挑战,主要体现在三个方面:其一是服务器资源管理不方便、扩展性和灵活性受限制,当访问峰值来临时,部署新服务器的周期较长,而当某款游戏的访问量暂时降低时,又会造成已有服务器资源的浪费;其二是开发和运营新游戏时难以控制成本,因为对游戏运营公司来说,一款游戏是否成功受很多因素的影响,但在运营每一款新游戏时都需要投入大量的 IT 资源,万一不成功,则会浪费已购置的服务器资源;其三是如何建立双活的灾备系统以确保在任何情况下都能为全球玩家提供持续可靠的服务。


为了应对这些挑战,IGG 开始考虑采用公有云服务作为自有数据中心(下面简称:自有 IDC)的补充。经过考察、分析和对比,IGG 决定采用 AWS 云服务,并从几年前开始尝试使用 AWS 在新加坡、法兰克福、日本、美国等可用区的云服务部署海外游戏节点。2016 年 8 月,为了提升整个游戏运营系统的稳定性和可靠性,IGG 决定为其位于北加州的核心业务系统建立双活灾备系统。使用 AWS 云服务给 IGG 带来的最大好处是用较低的成本建立起远程的双活灾备中心,实现了核心业务异地实时同步备份,在主机房出现故障时能快速切换到云端,保证服务的连续性。整个灾备系统完全满足 IGG 的业务需求:RTO 不超过 30 分钟、RPO 为 0,增强了 IGG 游戏运营系统的稳定性和可靠性。除此之外,使用 AWS 云服务也节省了灾备系统的成本,因为利用 AWS 云服务建立双活灾备系统时并不需要 1:1 的资源配置,这点相比传统的本地灾备具有极大的性价比优势。



示图 4: 基于 AWS 云服务的 IGG 双活灾备中心


AWS 混合云容灾架构的用户价值: 从容灾系统的 TCO 上看,AWS 混合云容灾解决方案更是具备明显优势。无需前期对硬件、软件的采购和安装,省去了大量前提投入成本。更重要的是,容灾方案中 AWS 云中资源可以选择不开机或只开启少量小机型资源,对于不开机的资源将完全不收取 EC2 虚拟机资源的费用,又能保持 EC2 虚拟机的状态和后台数据的增量更新。经过我们的测算,一个典型的容灾系统项目,以 5 年为周期进行计算,TCO 只需花费原有私有云容灾环境的 1/3,而第一年的投入资金更是传统项目的 1/10。


另外,随着应用容灾系统迁移至 AWS 云中,可以将企业现有的容灾中心转变成生产中心,从而扩大客户自建数据中心的承载能力,或大幅降低 IT 资源的运营成本,享受更多 AWS 云带来的好处。下图从 AWS 混合云容灾开始,到容灾切换,到生产系统平滑上云的进阶演进图:



示图 5:AWS 混合云容灾,到容灾切换,到生产系统平滑上云的进阶演进图


2.3 利用 AWS 公有云实现混合云备份


将数据备份到云端的好处显而易见:管理和操作更加便捷,无需搭建 IT 备份系统架构、将一次性大额支付变为每月或每年的按需付费,进而减少企业对 IT 资源的投入等等。现在越来越多的企业客户更倾向于通过其现有的备份软件或云网关,将其现有的备份体系架构扩展到云上。这样做的好处可以用云备份替换离线磁带,大大降低本地存储的资源开销,利用云端完成备份工作,更具性价比。


AWS Storage Gateway (又称“AWS 存储网关”,架构图见示图 6)是 AWS 提供的一种混合云存储服务,企业本地数据中心的内部应用程序可以借助它来无缝地使用 AWS 云上的存储资源(如 S3,Glacier 等),AWS 存储网关可以帮助企业用户实现本地数据中心向 AWS 云端进行备份、存档、灾难恢复、云突增、分级存储分层和迁移。并具有无缝集成能力,企业应用程序或备份工具可以使用 NFS、iSCSI 等标准存储协议通过本地存储网关镜像设备连接到 AWS 云端的该存储网关,同时存储网关连接 Amazon S3、Amazon Glacier、Amazon EBS 等 AWS 存储服务,可实现文件、卷和虚拟磁带的存储或备份。



示图 6:AWS 存储网关服务架构示意图(Gateway-Cached Volume)


AWS 存储网关具有高度优化的数据传输机制,能够进行带宽管理、自动实现网络弹性、高效传输数据,并为活动数据的低延迟本地访问提供本地缓存。


当然从企业用户的混合云备份需求角度,通常需要考虑:


  • 如何实现对于虚拟机和物理机进行统一管理?

  • 如何缩短备份时间?

  • 如何快速恢复? 能否恢复到任何环境(如物理机,虚拟机,云中的虚拟机) ?

  • 能否确保备份与恢复数据的完整性及安全性?

  • 如何实现冷热数据的分级存储,降低云上的存储成本?

  • 如何避免重复备份数据?


目前已经有很多国内外备份服务厂商基于 AWS 存储网关构建了一体化 AWS 混合云备份方案,利用 AWS 云存储资源便宜的特点帮助企业用户实现 AWS 云端备份,而且方案能很好的满足前述提到用户对混合云备份的要求。下图为国内某备份服务厂商基于 AWS 存储网关的混合云备份解决方案。



示图 7:国内某备份服务厂商基于 AWS 存储网关的混合云备份解决方案


该备份服务厂商的 AWS 混合云备份解决方案具有如下优势和技术特点:


  • 操作简便:提供功能丰富,操作简便的用户界面,支持手工备份、时间计划、多任务多计划、备份状态监控、版本管理、恢复操作、并提供一键式故障转移切换功能。

  • 块级别全局重复删除数据:基于源端的重复数据删除技术,相同数据块仅发送和存储一次,可以减少备份时间 80%以上,这不仅带来效率的提高、带宽、存储空间的节约;还保证窄带宽条件下大数据异地灾备。

  • 瞬间恢复:通过 Snapshot 技术,保证备份期间不需要关闭应用,定时对发生变更的数据块进行标记并实施迁移 (最小支持一分钟),在下一个备份时间点只检索被标记的数据块,这不仅节省磁盘 IO,并且能够瞬间恢复数据。

  • 冷热数据分级存储功能:充份利用 Amazon S3 提供的生命周期管理策略的功能,用户通过简单的策略制定就可以自动化实现冷热数据的分级存储,冷数据自动归档存储到更便宜的 Amazon Glacier 上,既实现了用户长期归档的需求,还可以大幅降低云上的存储成本。

  • 支持 Windows/Linux/Unix 等多种环境的网络集中备份,同时支持多种应用服务类型,如各种常见的应用服务器、数据库(如 MySQL、SQL Server、Oracle、Sybase、DB2)、 Domino、AD、Exchange、File server 等等。

  • 三重数据安全:


  1. 硬盘锁:数据与设备进行绑定,数据只能恢复到原有硬件

  2. 无规则存放:数据以无规则的块存储,避免坚守自盗

  3. 通信与数据加密:私有通信协议,可选 AES 数据加密


  • 异地灾备与恢复: 备份到异地云计算中心,支持恢复到本地物理机、虚拟机、AWS 云上虚拟机等多种不同平台,当本地数据中心出现物理故障时,这种异地恢复机制既可以满足企业用户异地灾备恢复的需求,还可以实现数据异地使用的业务价值。

  • 传输优化:经优化的灾难恢复和复制,几分钟内返回到联机状态。


作者介绍:



袁春华,AWS 解决方案架构师,负责 AWS 合作伙伴生态系统的云计算方案架构咨询和设计,同时致力于 AWS 云服务在国内的应用和推广。在加入 AWS 之前,在 IBM 中国担任解决方案架构师,负责金融行业的方案咨询和架构设计,在企业软件架构、数据库、中间件软件等方面有丰富经验。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/corporate-cloud-travel-hybrid-cloud-construction-and-common-cloud-application-scenarios/


2019-11-06 08:001276

评论

发布
暂无评论
发现更多内容

智汇华云 | kata container virtiofs测试和技术分析

华云数据

Go 学习笔记之 方法

架构精进之路

Go 语言 7月日更

《面试补习》- 你来说说什么是限流?

九灵

Java 面试 分布式 sentinel 限流

IPFS算力挖矿排行榜,IPFS挖矿公司排行榜

极狐 GitLab 初探(上)

极狐GitLab

ci DevOps gitlab CD 敏捷开发管理

自学编程找工作!46道面试题带你了解中高级Android面试

欢喜学安卓

android 程序员 面试 移动开发

桌面多空间使用技巧

吴脑的键客

chrome Windows 10 fedora

手写QuickSort算法

实力程序员

程序员 算法 成长 C语言

IPFS挖矿值得投资吗?IPFS挖矿前景如何?

Git工作流中常见的三种分支策略:GitFlow、GitHubFlow和GitLabFlow

华为云开发者联盟

git 软件开发 工作流 GitFlow GitHubFlow

自学者福利!BAT常见的20道Android面试题详解

欢喜学安卓

android 程序员 面试 移动开发

mysql常用命令

阿呆

mysql命令

超视频化到来,你能看见什么?

阿里云视频云

阿里云 计算机视觉 音视频 视频 视频云

官宣!DataPipeline2021数据管理与创新大会将于7.29北京重装开启!

DataPipeline数见科技

大数据 数据融合 数据管理

数据驱动决策,可视化推动传统电力发展革命史?

一只数据鲸鱼

数据可视化 智慧能源 水力发电 智慧水利

万万没想到,低功耗也会烧毁元器件?

不脱发的程序猿

嵌入式 电路设计 低功耗 ADI 稳压器

门道APP开发|门道软件系统开发

(ROYOLE)全球首款柔性屏开发套件,柔宇RoKit终于来了!

Vsir·横磨剑

Serverless 时代下大规模微服务应用运维的最佳实践

阿里巴巴中间件

云计算 Serverless 微服务 云原生 中间件

数字人民币热度不断攀升 多地再迎大规模试点

CECBC

中国移动5G消息开发者社区强势助力,创客马拉松大赛5G消息专题赛重磅来袭!

5G消息

开发者 开发者社区 应用开发 开发者大赛 5G消息

初学汇编

若尘

汇编 汇编语言 7月日更

架构之路,道阻且长

長庚

工卡融合柔性屏,办公效率和信息安全性可能会有质的飞跃?

船医特拉法尔加

揭秘百度微服务监控:百度游戏服务监控的演进

百度Geek说

微服务 大前端 游戏

北鲲云超算平台解决生物科学领域困境,探索更多可能性

北鲲云

图扑软件受邀核电数字化技术大会,技术创新助力行业革新

一只数据鲸鱼

数据可视化 核电 核电站 数字大会

对话系统简介与OPPO小布助手的工程实践

OPPO小布助手

人工智能 对话 智能助手 智能对话

通证经济最核心的价值,就是带来了流动性的质变

CECBC

区块链的风险与防范

CECBC

呱呱乐园软件开发|呱呱乐园系统APP开发

AWS之旅:混合云构建及常见的应用场景_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章