今天我们来聊一聊产业互联网时代下海量数据处理问题

阅读数:1 2020 年 1 月 6 日 17:28

今天我们来聊一聊产业互联网时代下海量数据处理问题

产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。 云原生边缘计算发展现状万物互联时代,终端设备产生的数据将爆炸性增长,据 IDC 研究显示,到 2020 年将产生 500 亿的终端与设备联网,其中 50% 的数据将会在靠近数据源的边缘侧进行分析、处理,以满足业务的低时延诉求。

按照用户 / 终端到中心云的距离,大体上可以划分 3 个“时延圈”,如下图所示:

  • 第一个“圈”是现场边缘,覆盖 1~5ms 时延范围,算力以推理为主,主要面向自动驾驶,工业互联网等实时性业务,典型的现场边缘站点包括边缘服务器,华为智能边缘小站 Atlas 500 等。
  • 第二个“圈”近场边缘,覆盖 5~20ms 时延范围,算力以渲染为主,同时还有一部分推理,主要面向视频场景,典型的近场边缘站点包括 CDN 节点、5G MEC 等。
  • 第三个“圈”则是传统的公有云覆盖范围,用于承载未下沉部分的业务,主要面向大规模场景,例如海量的数据存储、挖掘、AI 深度神经网络模型的训练等。

今天我们来聊一聊产业互联网时代下海量数据处理问题

然而,边缘计算还仍然存在着诸多挑战,例如:

  • 边缘节点 CPU、MEM 等资源受限、硬件资源异构等;
  • 如何与云上业务、AI 平台协同;
  • 海量边缘设备管理和运维,边缘应用的生命周期管理等;
  • 当网络或节点出现故障时,边缘应用需要离线自治能力,确保仍然能够正常运行。

云原生以轻量化的容器技术作为基础平台,资源占用少、快速扩容、高效的应用生命周期管理,基于微服务架构,可扩展性、故障可恢复性,持续交付等特性,非常适合边缘计算场景。

Kubernetes 因通用的应用抽象定义、松耦合的架构、易扩展的 API 框架,已经成为云原生的事实标准,但是还不能完全解决上述边缘计算的诸多挑战,面对边缘计算的轻量化诉求,仍显厚重,因此华为云原生团队针对边缘计算场景对 Kubernetes 进行了增强,最终打造了 CNCF 基金会第一个边缘计算项目——KubeEdge,其优势在于:

  • 云边协同:云边一致的应用使用体验,设备的接入和管理,端边云统一管理和运维界面;
  • 高速云边通信:WebSocket + 消息封装,大幅减少通信压力,网络受限情况下仍能正常工作;
  • 边缘离线自治:边缘节点元数据持久化,实现节点级离线自治,边缘节点故障恢复无需与管理面通信,快速恢复;
  • 极致轻量:重写 Kubelet 模块,极致轻量化(~70mb 内存占用),支持 CRI 集成 Docker、Containerd、CRI-O,优化 runtime 资源消耗。

今天我们来聊一聊产业互联网时代下海量数据处理问题

5G+ 云 +AI 如何互融?5G 解决的是产业互联网时代的海量数据传输问题,云计算解决的是大规模计算问题,5G 和云是密不可分的一对。人工智能、大数据、区块链等为代表的云计算技术与 5G 为代表的通信技术如何互相融合、相互促进?云原生边缘计算技术是一个可行的途径。

5G 的特点可以总结为“一高两低三大”:高可靠性,低功耗、低时延,大连接、大覆盖、大容量,这些特点将催生大量创新业务模式,主要包括以下三大应用场景:

  • eMBB,增强型移动宽带,应用于对带宽有极高需求的业务,如 4K/8K 高清视频、AR/VR/ 云游戏等。
  • mMTC,大规模机器类通信,应用于连接密度要求较高的业务,如智慧城市、环境监测、智能家居等。
  • uRLLC,超可靠低时延类通信,应用于对时延极其敏感的业务,如无人驾驶、工业自动化控制、远程医疗等。

基于云原生的边缘计算,是支撑创新业务模式的最佳选择。例如中心云提供海量算力、存储和统一管控平台,5G MEC 边缘云提供 5G 流量的接入和推理渲染算力,将上述新型业务作为边缘应用,利用云原生的技术快速灵活下发到 MEC 中,数据本地快速闭环,快速推理或渲染,处理结果上传中心云进行全局的分析、处理和优化,以此实现 5G+ 云 +AI 智能互融。具体方案如下图所示。

今天我们来聊一聊产业互联网时代下海量数据处理问题

MEC 是网络部署位置和协议栈方面的第一跳入口,部署到 MEC 的边缘应用可享有数据本地化、流量卸载本地分流快速闭环等优势,可有效降低业务处理时延、减少转发设备跳数 / 性能,从而有效降低业务成本等。通过云原生边缘计算技术,将云和 5G 进行有机的结合,5G 边缘云还可以具有如下优势:

  • 边云协同,中心云对地理离散的边缘应用进行集中化的统一管控和协同,应用可以云边、边边无缝迁移和弹性伸缩,云边、边边网络自动打通等。
  • 边缘智能,可以将 AI 算法下沉到边缘,实现云端训练、边缘推理可极大提升边缘设备的业务处理和智能分析的能力,有效地解决传统端 - 云模式下数据传输效率低、带宽需求量大、分析效率低下、业务处理时延高等诸多问题,让带宽和时延不再成为 AI 使能业务的瓶颈。
  • 完善的云生态,中心云上现有的生态,如智慧园区、智能交通、工业制造、水务水利、智慧商超等多个行业和场景的算法和应用,可以方便的通过云原生边缘计算的方式部署到边缘。

5G+AI+ 云 +IEF 最佳实践华为云智能边缘平台 IEF ,作为 KubeEdge 的商业版,同样是基于容器和 Kubernetes 生态构建,提供具备极致轻量、边云协同的边缘计算服务,除上文中所述的云原生能力外,还具有如下增加特性:

  • 高速消息通道:保证云边之间高速、可靠、有序、安全的进行通信。
  • 离线自治:边缘节点和应用故障快速感知,应用在边缘集群中自动调度,快速迁移,秒级恢复。
  • 边云协同:云边一致的使用体验,应用一次构建到处运行,应用根据负载在云边自适应调度和弹性部署,还可将 AI 算法类、IoT 类、时序数据库、流计算等多种应用从华为云延伸到边缘。
  • 边缘鲲鹏 + 昇腾深度整合:与边缘专用 AI 推理芯片昇腾 310,华为自研 ARM 处理器深度结合,为 AI 容器提供高性能、低成本的边缘算力,性价比提高 3 倍。
  • 开放的边缘生态:基于智能边缘市场,提供边缘应用和硬件的认证、发布,第三方用户快速订阅和推送。

在某智慧园区中,基于华为云 IEF 和 5G MEC,人员识别和机器人的自动巡检相结合,可动态的识别陌生人。AI 人员识别应用利用中心云的算力,在 ModelArts 中快速进行迭代训练,然后将人员识别算法和应用程序通过 Docker 打包成一个容器镜像,通过 IEF 一键下发到 MEC 边缘云,视频流通过 5G 大带宽、低时延网络上传到 MEC 中,直接进行视频智能分析,完成识别。该方案具有如下优势:

  • 云边协同,中心云集中管控,统一运维,中心云训练,边缘云推理;
  • 针对移动和布线不便的场景,5G 具有天然的优势,无需为布线投入资金;
  • 按需使用,容器在 MEC 上可以动态伸缩,平滑扩容,更加高效的利用资源。

今天我们来聊一聊产业互联网时代下海量数据处理问题

基于 5G 的人员识别效果如下图所示。

今天我们来聊一聊产业互联网时代下海量数据处理问题

总 结 云原生边缘计算技术,因其天然的轻量化和可移植性,可以将应用下发到多种具有一定计算能力的设备上,包括 5G MEC;同时凭借强大的边云协同的能力,必将成为 5G + 云 + AI 相互融合时代的重要加速引擎。

扫描下方二维码,备注:公司 + 职位,加入云原生交流群。

今天我们来聊一聊产业互联网时代下海量数据处理问题

对 KubeEdge 感兴趣的点击代码库了解一下。

作者介绍:
欧争光,华为云智能边缘平台 IEF 生态经理
冯飞,华为 Cloud Openlabs 5G NFVI 架构师

评论

发布