阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

AWS re:Invent 2019 深度观察(底层篇):两个趋势,新的革命?

  • 2019-12-05
  • 本文字数:2306 字

    阅读完需:约 8 分钟

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?

根据 InfoQ 编辑在本次 AWS re:Invent大会上的观察发现,到 2019 年,AWS 的底层能力呈现出两个明显的发展趋势:

第一个趋势:超算 as a Service

AWS 正在将自己计算密集+网络密集的能力打造的越来越强,以应对越来越多的高性能计算与机器学习类应用负载的需求。这个方向目前由搭载了最新款 nitro 系统的几款 EC2 实例引领,包括但不限于 C5n、P3dn、Inf1 等系列,还有已经成为标配的万兆网卡。


特别值得注意的是 C5n 这个实例:



上图所示为美国海军研究实验室用超算 Cray XC40、c4 集群与 c5n 集群分别进行天气预报计算的性能比较:纵轴为计算用时,横轴为并行参与计算的 CPU 数量。可以看出,c4 集群(使用 TCP 协议)用到了 200 个以上 CPU 参与并行计算之后出现明显瓶颈,而 c5n 集群(开启了 EFA 网络功能绕过了 TCP 协议——这是最新款 nitro 系统提供的能力之一)即使超过 1000 核也没有呈现明显瓶颈,在计算用时方面的表现已经超越了 Cray XC40。


虽然仍不清楚是否所有现在在超算上跑的负载都已经能够在 AWS 上面以同等的表现跑起来,但是现在已经完全可以说:AWS 的超算 as a Service 已经进入了一个新阶段。


值得注意的是,Nitro 系统给 AWS、乃至整个云计算领域带来的影响是深远的。在会议期间的一次采访中,AWS 首席云计算企业战略顾问张侠特别提醒我们关注 Nitro 系统的重要性,小编觉得他的这句提醒很有道理。在小编看来,Nitro 不仅仅是 AWS 做的一套搭载了特定软件的主板,更加是对云计算操作系统下一步该怎么做的一系列探索,而目前我们所看到的已完成的部分,很可能仅仅是一个开始。不过,这个话题在这篇文章就先不展开了。


另外还值得注意的是 Inf1 这个实例:这是一款 GPU 计算实例。也就是说,它实际上是 G 系列/P 系列的平行版本!这个系列的名字来自 AWS 自研的 GPU 芯片的名字——Inferentia,专门设计用于机器学习推断(inference)负载的优化。


(Annapurna 这场收购可真值!——Andy Jassy 如是说。)

第二个趋势:计算资源往边缘下沉

计算资源往边缘下沉的意思是,把计算节点往越来越靠近终端用户的地方延伸。这个方向目前还在较早的探索期,本次宣布的近地节点服务 Local Zones(洛杉矶的 Local Zone 现在已经可用)、近 5G 运营商末端节点服务 Wavelength(计划在 2020 年之后可用)、以及发布刚刚一年、今年刚刚进入 GA 阶段的私有云节点服务 Outposts,代表了 AWS 在这个方向做出的努力。


值得一提的是,InfoQ 编辑在大会期间采访了虎牙直播的技术负责人,他表示对 Local Zones 和 Wavelength 非常关注。原因是,为了让内容更好看,虎牙直播的内容生产过程需要对主播拍摄的视频做越来越多的加工,观众交互过程也需要越来越多的效果,于是需要的计算量就越来越大,这就意味着仅靠用户的手机/PC 的计算能力是不够用的;而无论是对虎牙直播的主播还是观众,低延时是最为至关重要的用户体验,所以也不可能把这些计算工作放在离他们很远的节点进行。


目前,可用的计算节点都在各个区域的大数据中心,这些数据中心往往盖在偏远地区,而大部分用户都是住在各地城市里的,用这些数据中心来做此类计算并不是理想的方案。


所以,对于虎牙这一类服务提供商来说,问题就很明确了:在靠近用户的地方都有哪些计算节点可用?可想而知,在全球范围内,面对这个问题的服务提供商不仅仅是虎牙直播这么一家。


对应这个问题,有很多种可能的解决方案和方案提供方;不过,由一家能够提供云计算服务的提供方来解决这个问题,从社会资源的调配来看,很可能是目前最理想的配置!


AWS 为了回应这个问题而发布的两个方案的思路也是很明确的:


  1. Local Zones,把自己原有的 CDN 节点改造成计算节点,已经包含的计算服务包括 EC2、EBS、FSx、VPC、ELB、RDS。

  2. Wavelength,把运营商合作伙伴的 5G 基站改造成计算节点,目前还不知道将会包含哪些计算服务,我想 EC2 是最起码的吧。


这就比较有意思了: AWS 从 2006 年发展至今(2019 年 12 月 4 日),一共在全球开启了 22 个区域(还有 4 个已公布),包含了 69 个可用区(还有 13 个已公布)。如果用到直连网络 Direct Connect,则有 97 个网络节点可选。此外,还有 199 个边缘站点和 11 个区域边缘缓存,遍布在 37 个国家/地区的 78 个城市。



AWS Local Zones 的数量会不会很快就发展到 210 个?我觉得这可能不会需要花费特别长的时间。


然而,5G 基站的数量,又将会达到多少?5G 基站计算节点的数量,又将会达到多少?这就是个真正有意思的问题了。


本次主题演讲上,AWS Wavelength 是作为压轴、由 AWS CEO Andy Jassy 和 Verizon CEO Hans Vestberg 联合发布的。这也从侧面体现了这一边缘计算节点的重要性吧!


(我很兴奋!——Andy Jassy 如是说。)

第三个趋势:更加精细化的使用

这其实并不是一个 2019 年的新趋势,而是一个历史悠久的老趋势,不过它的重要性摆在那里,所以还是值得讲讲。所谓精细化使用的意思就是,用户可以需要多少买多少、需要什么品质的服务就买什么品质的服务,减少浪费,可以省钱;权限也只分配需要的,需要什么权限才给什么权限,这样更加安全。在今年的发布中,权限管理工具 S3 Access Points、可以在一个计算节点上挂更多存储从而减少计算资源浪费的 Redshift RA3 实例、可以把 ElasticSearch 要分析的日志数据先放到一个不那么贵的热存储上的 UltraWarm 服务、搭载了第二代自研 ARM 芯片(graviton2)的 M6g、R6g 与 C6g 实例,均属于在原有服务上进一步提升了细粒度,给用户提供了更多的精细化操作空间。


跟前两个趋势相比,这个趋势听起来不那么让人兴奋,但是非常的实用,很期待年年都能继续看到。


今天就先分享到这里。




欲了解更多 AWS re:Invent 信息,请关注 InfoQ AWS re:Invent 2019专区


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2019-12-05 09:234817
用户头像
sai 有所为,有所不为

发布了 200 篇内容, 共 86.5 次阅读, 收获喜欢 69 次。

关注

评论

发布
暂无评论
发现更多内容

JetBrains CLion 2023中文版安装教程CLion 2023新功能

魔仙苹果mac堡

C/C++ CLion 2023 JetBrains CLion破解版

5月上海线下 · CSM认证周末班【提前报名特惠】“全球金牌课程”CST导师亲授

ShineScrum捷行

建木在 Rainbond 上使用实践

北京好雨科技有限公司

云原生 CI/CD #Kubernetes# rainbond 企业号 4 月 PK 榜

SketchUp Pro(草图大师2023)中文版 Mac/win

魔仙苹果mac堡

SketchUp Pro 2023 SketchUp Pro中文版 草图大师2023下载

软件测试/测试开发丨通用 api 封装实战,带你深入理解 PO

测试人

软件测试 自动化测试 测试开发

长安信托:拥抱数字信托,探索多项目管理新路径

万事ONES

软件测试/测试开发丨两个步骤轻松搞定测试环境问题

测试人

软件测试 自动化测试 测试开发

为何说低代码平台会提升软件开发效率?

这我可不懂

软件开发 低代码 JNPF

GaussDB(DWS)云原生数仓技术解析

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 4 月 PK 榜

安全可信| 天翼云算力调度平台通过信通院首批可信算力云服务评估!

天翼云开发者社区

大咖说丨云计算:数字世界的“中枢神经”

天翼云开发者社区

Higress GitHub star 突破 1k,来自社区开发者和用户的寄语

阿里巴巴云原生

阿里云 云原生 Higress

Autodesk AutoCAD 2024 Mac(cad2024) v2024.3 支持M1 兼容Mac13系统

魔仙苹果mac堡

mac软件下载 M1芯片 cad2024激活版 Autodesk AutoCAD

Ample Sound Ample Bass Upright III Mac(虚拟立式低音乐器)

魔仙苹果mac堡

联合解决方案|亚信科技AntDB携手蓝凌软件,助推企业数字化办公转型升级

亚信AntDB数据库

AntDB AntDB数据库 企业号 4 月 PK 榜

MobTech MobLink|无码邀请是怎么处理的

MobTech袤博科技

算云融合促发展,天翼云以领先云网算力助推数字中国建设!

天翼云开发者社区

5月在线 · A-CSM认证周末班【提前报名特惠】“敏捷教练必修课程”CST导师亲授

ShineScrum捷行

Springfox与SpringDoc——swagger如何选择(SpringDoc入门)

天翼云开发者社区

Excelize 入选 2022 中国开源创新大赛优秀项目

xuri

golang 开源 Go 语言 Excelize OOXML

AntDB数据库携超融合流式实时数仓亮相第25届中国高速公路信息技术化大会

亚信AntDB数据库

AntDB AntDB数据库 企业号 4 月 PK 榜

解决Parallels Desktop 18.2.0提示“由于临界误差,不能启动虚拟机”的问题

魔仙苹果mac堡

Parallels Desktop 18 pd18虚拟机 PD虚拟机不能联网

AI开发实践:关于停车场中车辆识别与跟踪

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 4 月 PK 榜 车辆检测

autodesk maya 2023最新中文版 Maya动画和建模软件

魔仙苹果mac堡

Autodesk Maya maya破解版 玛雅2023下载

喜讯!天翼云荣获国际AI顶会ABAW季军

天翼云开发者社区

关于验证码,你不知道的一些问题!

宙哈哈

php html 记录 验证码

不动产行业国产化加速,明源云上榜《中国信创500强》

科技热闻

基于 Nginx&Lua 实现自建服务端埋点系统

亚马逊云科技 (Amazon Web Services)

Amazon

架构训练营模块二作业

请叫我馒头哥丶

架构实战营

社区分享 | Orillusion 引擎入门系列 —— 如何创建一个简单的 3D 示例

Orillusion

WebGL 元宇宙 web3d #WebGPU #开源

最新版本 Stable Diffusion 开源 AI 绘画工具之使用篇

极客飞兔

人工智能 图文生成 AI绘画 Stable Diffusion

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?_服务革新_sai_InfoQ精选文章