【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

无线仍然是 AI 和边缘计算发展的瓶颈

  • 2020-05-22
  • 本文字数:4202 字

    阅读完需:约 14 分钟

无线仍然是AI和边缘计算发展的瓶颈

数据中心正在向网络边缘扩展,以满足人工智能和其他应用程序的快速响应需求,而这是传统数据中心架构所无法提供的。


本文最初发布于 EETimes,由 InfoQ 中文站翻译并分享。


数据中心正在向网络边缘扩展,以满足人工智能和其他应用程序的快速响应需求,而这是传统数据中心架构所无法提供的。


传统架构的问题在于它们的集中式框架。通常,数据会从边缘传到数百英里外的电脑上,然后再传回来。当你在使用电子邮件、谷歌、Facebook 和其他通过云提供的应用程序时,这没问题。人脑是台运行缓慢的电脑,无法记录从在浏览器中点击电子邮件到邮件打开之间的时间延迟。


但人工智能和其他新兴应用,如物联网(IoT)、基于云的游戏、虚拟现实等,需要更快的网络响应速度,也就是所谓的“低延迟”。这意味着数据中心的处理过程必须转移到网络边缘。边缘计算可以在小型数据中心中进行,其大小大致相当于海运集装箱,而不是目前支持云计算的仓库大小的大型建筑。


像 EdgeMicro 和 Vapor.io 这样的初创公司正在部署这样的“微型数据中心”。


数据中心运营商仍然可以使用它们的传统结构,并借助快速网络和其他硬件及软件来确保边缘应用程序所需的快速响应时间。


边缘数据中心可以位于企业办公场所,也可以位于矿山、船舶和油田等外部地点。


Moor Insights&Strategy 总裁兼首席分析师 Patrick Moorhead 表示:“(推动边缘计算的)首要因素是数据中心之外产生的数据量。”到 2024 年,联网传感器的数量将达到 1 万亿,主要由智能城市和视频驱动。


延迟并不是需要边缘计算来解决的唯一问题。Moorhead 说:“成本才是真正推动边缘计算的因素。每次你把数据送入数据中心,都是要付钱的。互联网不是免费的。”互联网提供商对带宽收费,而云提供商,比如亚马逊网络服务(AWS),对在云中进出的数据收取“出口费(egress charges)”


对于无法访问网络的应用程序,组织就需要在边缘进行计算,如在船上、在矿井下或在油田上。与此同时,越来越多的隐私法规要求某些应用程序现场处理数据,尤其是医疗保健。


Moorhead 说:“如果你是一家医院,那么你完全无权向云上发送任何数据。”即使允许这样做,带宽成本也会使移动大部分数据变得非常昂贵,尤其是诊断图像。

运营商对边缘计算的看法

Digital Realty 是世界上最大的数据中心运营商之一,其特别之处在于它有一个全球化的平台和基础设施,从大型多兆瓦的设施到单个的机笼和机架。该公司在全球 20 个国家拥有 267 个数据中心。


边缘地区需要一种新的基础设施。Digital Realty 首席技术官 Chris Sharp 说:“它一点也不像传统的数据中心。其规模要小得多,其工作负载需要很大的功率密度和互连密度。”这些微型数据中心是无人值守的,现场没有操作人员,不提供多租户支持。返回到核心云基础设施的密集光纤连接也是必须的。


Digital Realty 正处于部署微型数据中心的早期阶段,在芝加哥、亚特兰大和达拉斯,他们与初创公司 Vapor IO 合作开发了原型。


微型数据中心并不是唯一的选择。Digital Realty 的全球服务创新总监 Russell Shriver 说,在许多地方,边缘应用程序可以在传统的数据中心内运行,并且仍然可以达到应用程序快速响应所需的 5 毫秒延迟。他表示:“对于许多在市区寻找边缘解决方案的企业而言,这足以满足它们的需求。”


微型数据中心仍然是一个新兴市场。Equinix(Digital Realty 公司的竞争对手)全球业务发展副总裁 Jim Poole 表示,事实上,他们现有的设施可以满足其服务提供商和企业客户的边缘计算需求。“Equinix,从其存在,就在边缘”。


Equinix 在全球 44 个主要城市地区拥有超过 190 个数据中心。对于位于 Equinix 数据中心集群上的应用程序,美国大部分地区已经实现了 10 毫秒的光纤往返访问时间。这一延迟覆盖了 80%的美国人口。在建立新的微型数据中心之前,企业和服务供应商都希望在现有的基础设施中最大限度地部署边缘应用程序。

无线是瓶颈

虽然 Equinix 可以通过光纤实现低延迟,但边缘应用程序也需要无线,而无线仍然是 AI 和其他新兴边缘应用程序的瓶颈。Poole 说,目前,4G 无线网络的延迟最好为 40 毫秒,平均延迟在 60 毫秒到 120 毫秒之间。


5G 有望大幅降低延迟。因此,服务提供商正在与超大规模的云服务提供商合作,从而利用改进后的性能。例如,AWS 和 Verizon 正在合作,将位于洛杉矶市中心的 AWS 数据中心与该市的 Verizon 无线接入网络(RAN)塔连接起来。Poole 说,该项目证明,他们可以在市区周围创建一个低于 10 毫秒的延迟区。反过来,这也可能会产生对微型数据中心的需求。“但是,在我们解决这个特殊的问题之前,没有人会愿意为增加的成本买单,”他表示。


此外,Poole 补充说,5G 的“网络切片”功能将使部署私有无线网络成为可能,从而加强控制和安全。


目前,微型数据中心是一种很有前途的技术,但规模还不大。Poole 说:“你没有看到人们争相宣布要部署成百上千个这样的微型数据中心,原因是人们还没有看到商机。”


尽管如此,Equinix 确实看到了模块化数据中心的使用案例——不一定是在边缘,而是作为一种进入新兴市场的手段,目前看来,在这个市场中,建造一个 1 亿美元的数据中心没什么意义。

AI 驱动

Equinix 高级研究员 Kaladhar Voruganti 表示,人工智能正在带来巨大的边缘计算需求。


人工智能应用程序主要包括两类工作负载:训练和推断。顾名思义,训练就是教一个人工智能模型如何解决问题。这个过程通常涉及组织 PB 级的数据。


Voruganti 说,“通常,你需要大量的计算”。训练运行在非常耗电的 GPU 上,每个满载的机架要消耗高达 30 到 40 千瓦。训练通常需要在大型数据中心里运行,这样才能满足其电力需求,以及某些应用程序中的隐私和监管要求。


Digital Realty 与 Nvidia 合作,在托管服务器中提供硬件供应商的 GPU。


模型训练完成后,下一步是推理,在此过程中,模型应用它在训练中学到的知识,并将其应用到生产应用程序中。推理所需的数据处理要少得多,并且可以运行在网络边缘(智能手机、特斯拉或微型或地铁数据中心)快速部署的 Docker 或其他软件容器中。


分析师 Patrick Moorhead 说:“你可以在大型的云上训练它,然后在工厂、沃尔玛或加油站运行应用程序进行推理。”


这些类型的人工智能应用程序可以在各种情况下使用。例如,航空公司可能使用“数字双胞胎”进行预测性维护。或者,随着经济从Covid-19大流行中恢复,企业可以使用人工智能来运行热点图和面部识别程序,识别进入设施的可能受感染的人。


其他需要边缘计算(经常使用人工智能)的应用包括游戏、物联网、智能工厂、运输和物流。此外,零售技术需要边缘计算来提供所需的响应能力。


Moorhead 认为,零售行业对边缘数据中心的需求特别大。像 Amazon Go 这样的“未来商店”有数百个摄像头,沃尔玛也用视频跟踪顾客。他说:“他们非常需要。”


智慧城市的规划者们希望利用人工智能和其他前沿应用来促进健康和安全,追踪基础设施维护需求以及管理交通。


其他需求来自交通(包括当前大肆宣传的自动驾驶汽车)以及先进制造和产品视觉检验。能源行业也在推动需求,尤其是在远程检测方面。

特殊的硬件需求

Equinix 的 Voruganti 表示,边缘 AI 应用通常使用闪存来实现高性能。这些应用程序还需要高度的网络连通性,从设备到边缘,再到数据中心。Poole 说,在网络上不同位置运行的应用程序组件之间可能也需要链接。“它们需要组件和域之间能够保证低延迟,”他补充说。


Moorhead 说,边缘计算还需要坚固耐用,以便可以部署在电梯、公共交通闸和采矿设备上,而船载计算机必须具备耐盐水性。


边缘计算也带来了物理安全方面的挑战。传统的超大规模数据中心具有接近军事级别的安全性,但位于农村地区的边缘数据中心则无人看守,很容易闯入,攻击者甚至可以用卡车将整个远程数据中心运走。

赢家……

超云、企业供应商、电信供应商和数据中心运营商看起来都像是边缘计算的赢家。Moorhead 说,“AWS 是一艘大船。虽然很缓慢,但肯定会推出一项可信赖的边缘计算服务”。


这家公有云巨头发布了运行其基础设施软件的 AWS Outposts,这是一个运行 AWS 数据中心的硬件机架,和运行在 AWS 数据中心的基础设施相同。Outposts 可以在本地、边缘或数据中心中运行。AWS Snowball是一种边缘计算设备,为船舶一类的远程环境提供计算、内存和存储。亚马逊提供的另一款名为 Wavelength 的产品是一款面向运营商的边缘设备,它让计算机更接近 5G 部署的边缘。


在软件方面,AWS IoT Greengrass 是一个将 IoT 设备连接到云的操作系统。与此同时,其公有云竞争对手微软也提供了 Azure Cloud IoT-for-edge 服务,而 VMware 也提供边缘计算服务。Moorhead 说,VMware“在这个领域的竞争力令人惊讶”。


另一家主要的公有云供应商谷歌一直有点落后,但它正借助面向分布式云应用程序的 Anthos 服务增强自身的竞争力。


Moorhead 说,与此同时,像戴尔、惠普(边缘服务器)和思科(IoT 网络)这样的 IT 基础设施巨头也有优势,因为边缘计算需要一个大的生态系统,将企业内部的基础设施和云连接起来。


Moorhead 认为,新兴的边缘数据中心供应商,如 Vapor IO,也有机会重新定义旧有的技术。“50 年来,一直有数据中心处于边缘。任何沃尔玛都有高架地板和一个数据中心。如果你去加油站或麦当劳,他们在墙上会有一个服务器,”他说,“Vapor IO 真正想要的是添加近网计算能力,尤其是 5G 网络。”


电信公司的中央办公室也可以被改造成微型数据中心,为运营商创造机会。Moorhead 说,“一个典型的社区会有一栋水泥建筑,里面有模拟线路和一堆机架。现在,它们几乎空了。它们功能强大。它们有工业级的强度——确切地说,是一个很难攻破的水泥掩体——而且还有供电和冷却系统。”


Equinix 和 Digital Reality 声称,鉴于他们作为全球数据中心和网络运营商的优势,他们处于边缘计算的有利地位。“你不能违背事实,”Poole 说,“电信公司会做得很好——他们可以在地方一级创造接入。这是无法回避的。”


他补充道:“像 Equinix 这样分布范围很广的数据中心公司将会做得很好,因为如今的应用程序就在我们身边。”


Digital Realty 的 Sharp 补充道:“你需要一个全球性平台,否则你将很难成功。客户在与单一市场的点供应商进行交易时会非常谨慎。如果你没有真正的投入,没有必要的资金来支持全球性环境,那么你就无法取得成功。”


Sharp 补充道,“客户不想管理 10 或 15 个供应商才能推出自己的基础设施”。


查看英文原文:


https://www.eetimes.com/ai-drives-data-centers-to-the-edge/


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-05-22 08:301147
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 261.3 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

聊武侠、讲段子,为了帮小白入门Spring Boot,这书有多拼!

博文视点Broadview

实例讲解FusionInsight MRS RTD 实时决策引擎在医保行业应用

华为云开发者联盟

数据湖 风控 医保 FusionInsight RTD 实时决策

数据库堡垒机品牌有哪些?买哪家划算?咨询电话多少?

行云管家

网络安全 信息安全 数据安全 堡垒机

KunlunBase 查询优化(二)Project 和 Filter 下推

KunlunBase昆仑数据库

国产数据库

MySQL-8.0 Group Replication 研究与改造汇总

KunlunBase昆仑数据库

国产数据库 MySQL 数据库

【二级等保】二级等保怎么做?价格怎么样?贵吗?

行云管家

运维 网络安全 堡垒机 运维审计

KunlunBase 查询优化(三)排序下推

KunlunBase昆仑数据库

国产数据库

昆仑数据库可定制的数据分片方案

KunlunBase昆仑数据库

国产数据库

数据库系统最佳实践系列 --- 使用 prepared statement

KunlunBase昆仑数据库

国产数据库

鸿蒙生态 | 从开发到运营,如何步步为“赢”?

最新动态

web前端培训创建 NPX 工具

@零度

web前端开发

小程序转APP,小团队也能实现数字化生态闭环

Speedoooo

APP开发 跨端开发 小程序容器 小程序转app 跨端运行

Wallys-Waterproof Enclosure Metal Outdoor

wallys-wifi6

IPQ4019 802.11ac

什么?JDK8的ConcurrentHashMap 有 Bug

skow

Java 后端 并发

AI简报-FIX你的模型

AIWeker

人工智能 深度学习 5月月更 AI简报

leetcode 451. Sort Characters By Frequency 根据字符出现频率排序

okokabcd

LeetCode 排序

【LeetCode】调整数组顺序使奇数位于偶数前面Java题解

Albert

LeetCode 5月月更

三分钟让你了解 vue 中的父子通讯

CRMEB

如何通过 Amazon Textract 改善新冠疫情期间的 PPP 贷款效率

亚马逊云科技 (Amazon Web Services)

效率 Amazon

你想学Python爬虫?看看这篇关于开发者工具神器的博客吧

梦想橡皮擦

5月月更

java培训学习后找不到工作的原因你占了几条

@零度

JAVA开发

手把手教你搭个Frida + Sekiro Rpc框架

奋飞安全

深入解读SQL的聚集函数

华为云开发者联盟

sql GaussDB(DWS) 聚集操作 主键列

KunlunBase 查询优化(一)

KunlunBase昆仑数据库

MySQL 数据库 国产数据库

关于加密通道规范,你真正用的是TLS,而非SSL

华为云开发者联盟

TLS 加密 ssl 加密通道 CA系统

Wallys-QCN9074 /802.11ax/4x4 MU-MIMO /6GHz wifi6E

wallys-wifi6

大数据课程培训到离职转行这个过程你知道经历了什么吗

@零度

大数据开发

如何写好产品手册?

小炮

官宣|秒云与极狐(GitLab)达成战略合作,打造云原生DevOps一体化解决方案

MIAOYUN

DevOps 运维 云原生

EMQX+阿里云Tablestore多场景一站式IoT数据解决方案正式发布

EMQ映云科技

阿里云 物联网 一站式平台 emqx 5月月更

2022年中国消费金融数字化发展分析

易观分析

消费金融

无线仍然是AI和边缘计算发展的瓶颈_AI&大模型_Mitch Wagner_InfoQ精选文章