写点什么

今天我们来聊一聊产业互联网时代下海量数据处理问题

2020 年 1 月 06 日

今天我们来聊一聊产业互联网时代下海量数据处理问题

产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。 云原生边缘计算发展现状万物互联时代,终端设备产生的数据将爆炸性增长,据 IDC 研究显示,到 2020 年将产生 500 亿的终端与设备联网,其中 50% 的数据将会在靠近数据源的边缘侧进行分析、处理,以满足业务的低时延诉求。


按照用户 / 终端到中心云的距离,大体上可以划分 3 个“时延圈”,如下图所示:


  • 第一个“圈”是现场边缘,覆盖 1~5ms 时延范围,算力以推理为主,主要面向自动驾驶,工业互联网等实时性业务,典型的现场边缘站点包括边缘服务器,华为智能边缘小站 Atlas 500 等。

  • 第二个“圈”近场边缘,覆盖 5~20ms 时延范围,算力以渲染为主,同时还有一部分推理,主要面向视频场景,典型的近场边缘站点包括 CDN 节点、5G MEC 等。

  • 第三个“圈”则是传统的公有云覆盖范围,用于承载未下沉部分的业务,主要面向大规模场景,例如海量的数据存储、挖掘、AI 深度神经网络模型的训练等。



然而,边缘计算还仍然存在着诸多挑战,例如:


  • 边缘节点 CPU、MEM 等资源受限、硬件资源异构等;

  • 如何与云上业务、AI 平台协同;

  • 海量边缘设备管理和运维,边缘应用的生命周期管理等;

  • 当网络或节点出现故障时,边缘应用需要离线自治能力,确保仍然能够正常运行。


云原生以轻量化的容器技术作为基础平台,资源占用少、快速扩容、高效的应用生命周期管理,基于微服务架构,可扩展性、故障可恢复性,持续交付等特性,非常适合边缘计算场景。


Kubernetes 因通用的应用抽象定义、松耦合的架构、易扩展的 API 框架,已经成为云原生的事实标准,但是还不能完全解决上述边缘计算的诸多挑战,面对边缘计算的轻量化诉求,仍显厚重,因此华为云原生团队针对边缘计算场景对 Kubernetes 进行了增强,最终打造了 CNCF 基金会第一个边缘计算项目——KubeEdge,其优势在于:


  • 云边协同:云边一致的应用使用体验,设备的接入和管理,端边云统一管理和运维界面;

  • 高速云边通信:WebSocket + 消息封装,大幅减少通信压力,网络受限情况下仍能正常工作;

  • 边缘离线自治:边缘节点元数据持久化,实现节点级离线自治,边缘节点故障恢复无需与管理面通信,快速恢复;

  • 极致轻量:重写 Kubelet 模块,极致轻量化(~70mb 内存占用),支持 CRI 集成 Docker、Containerd、CRI-O,优化 runtime 资源消耗。



5G+ 云 +AI 如何互融?5G 解决的是产业互联网时代的海量数据传输问题,云计算解决的是大规模计算问题,5G 和云是密不可分的一对。人工智能、大数据、区块链等为代表的云计算技术与 5G 为代表的通信技术如何互相融合、相互促进?云原生边缘计算技术是一个可行的途径。


5G 的特点可以总结为“一高两低三大”:高可靠性,低功耗、低时延,大连接、大覆盖、大容量,这些特点将催生大量创新业务模式,主要包括以下三大应用场景:


  • eMBB,增强型移动宽带,应用于对带宽有极高需求的业务,如 4K/8K 高清视频、AR/VR/ 云游戏等。

  • mMTC,大规模机器类通信,应用于连接密度要求较高的业务,如智慧城市、环境监测、智能家居等。

  • uRLLC,超可靠低时延类通信,应用于对时延极其敏感的业务,如无人驾驶、工业自动化控制、远程医疗等。


基于云原生的边缘计算,是支撑创新业务模式的最佳选择。例如中心云提供海量算力、存储和统一管控平台,5G MEC 边缘云提供 5G 流量的接入和推理渲染算力,将上述新型业务作为边缘应用,利用云原生的技术快速灵活下发到 MEC 中,数据本地快速闭环,快速推理或渲染,处理结果上传中心云进行全局的分析、处理和优化,以此实现 5G+ 云 +AI 智能互融。具体方案如下图所示。



MEC 是网络部署位置和协议栈方面的第一跳入口,部署到 MEC 的边缘应用可享有数据本地化、流量卸载本地分流快速闭环等优势,可有效降低业务处理时延、减少转发设备跳数 / 性能,从而有效降低业务成本等。通过云原生边缘计算技术,将云和 5G 进行有机的结合,5G 边缘云还可以具有如下优势:


  • 边云协同,中心云对地理离散的边缘应用进行集中化的统一管控和协同,应用可以云边、边边无缝迁移和弹性伸缩,云边、边边网络自动打通等。

  • 边缘智能,可以将 AI 算法下沉到边缘,实现云端训练、边缘推理可极大提升边缘设备的业务处理和智能分析的能力,有效地解决传统端 - 云模式下数据传输效率低、带宽需求量大、分析效率低下、业务处理时延高等诸多问题,让带宽和时延不再成为 AI 使能业务的瓶颈。

  • 完善的云生态,中心云上现有的生态,如智慧园区、智能交通、工业制造、水务水利、智慧商超等多个行业和场景的算法和应用,可以方便的通过云原生边缘计算的方式部署到边缘。


5G+AI+ 云 +IEF 最佳实践华为云智能边缘平台 IEF ,作为 KubeEdge 的商业版,同样是基于容器和 Kubernetes 生态构建,提供具备极致轻量、边云协同的边缘计算服务,除上文中所述的云原生能力外,还具有如下增加特性:


  • 高速消息通道:保证云边之间高速、可靠、有序、安全的进行通信。

  • 离线自治:边缘节点和应用故障快速感知,应用在边缘集群中自动调度,快速迁移,秒级恢复。

  • 边云协同:云边一致的使用体验,应用一次构建到处运行,应用根据负载在云边自适应调度和弹性部署,还可将 AI 算法类、IoT 类、时序数据库、流计算等多种应用从华为云延伸到边缘。

  • 边缘鲲鹏 + 昇腾深度整合:与边缘专用 AI 推理芯片昇腾 310,华为自研 ARM 处理器深度结合,为 AI 容器提供高性能、低成本的边缘算力,性价比提高 3 倍。

  • 开放的边缘生态:基于智能边缘市场,提供边缘应用和硬件的认证、发布,第三方用户快速订阅和推送。


在某智慧园区中,基于华为云 IEF 和 5G MEC,人员识别和机器人的自动巡检相结合,可动态的识别陌生人。AI 人员识别应用利用中心云的算力,在 ModelArts 中快速进行迭代训练,然后将人员识别算法和应用程序通过 Docker 打包成一个容器镜像,通过 IEF 一键下发到 MEC 边缘云,视频流通过 5G 大带宽、低时延网络上传到 MEC 中,直接进行视频智能分析,完成识别。该方案具有如下优势:


  • 云边协同,中心云集中管控,统一运维,中心云训练,边缘云推理;

  • 针对移动和布线不便的场景,5G 具有天然的优势,无需为布线投入资金;

  • 按需使用,容器在 MEC 上可以动态伸缩,平滑扩容,更加高效的利用资源。



基于 5G 的人员识别效果如下图所示。



总 结 云原生边缘计算技术,因其天然的轻量化和可移植性,可以将应用下发到多种具有一定计算能力的设备上,包括 5G MEC;同时凭借强大的边云协同的能力,必将成为 5G + 云 + AI 相互融合时代的重要加速引擎。


扫描下方二维码,备注:公司 + 职位,加入云原生交流群。



对 KubeEdge 感兴趣的点击代码库了解一下。


作者介绍:


欧争光,华为云智能边缘平台 IEF 生态经理


冯飞,华为 Cloud Openlabs 5G NFVI 架构师


2020 年 1 月 06 日 17:29891

评论 1 条评论

发布
用户头像
产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。
2020 年 01 月 06 日 17:34
回复
没有更多了
发现更多内容

极光无限:用AI赋能安全 解决安全行业人才紧缺难题

风向标

人工智能

开源=免费?

Philips

开源 开源项目 开源代码 开源社区

在vue2中使用ts

正经工程师

typescript vue.js

我一定是熬夜熬傻了,小程序后台获取用户信息居然发生了这件事

小Q

Java 小程序 学习 编程 架构

阿里内部超流行的“SpringBoot+ 微服务指南”,理论与实战双管齐下

Java架构之路

Java 程序员 微服务 Spring Boot 编程语言

一个草根的日常杂碎(9月29日)

刘新吾

随笔杂谈 生活记录 社会百态

技术解读丨目标检测之RepPoints系列算法

华为云开发者社区

算法 神经 目标检查

数据库选型入门必读:如何在眼花缭乱的产品中挑出最适合业务的?

华为云开发者社区

数据库 数据库选择 关系型

全文!马云对数字时代全球化的全新解读

CECBC区块链专委会

全球化 数字时代

GitHub上标星68k,基于SpringBoot+Netty分布式开源的即时通讯系统项目

Java架构之路

Java 程序员 编程语言 Netty 项目实战

国内上市进程或将提速!百度宣布小度科技独立融资

脑极体

关于 UML 类图

西贝

UML 图表

一周信创舆情观察(9.21~9.27)

统小信uos

架构师训练营第 1 期第 3 周学习总结

好吃不贵

极客大学架构师训练营

Nexmark: 如何设计一个流计算基准测试?

Apache Flink

flink

架构师训练营 1 期 - 第三周 - 设计模式

三板斧

极客大学架构师训练营

剖析Java15新语法特性

九叔

Java 架构 Java 分布式 java15新特性

传统网络缺失货币层,比特币是否能担此大任?

blockchain

比特币 区块链 数字货币 比特币数字货币 区块俩金融

2020互联网公司中秋礼盒大比拼!(文末送福利)

Java架构师迁哥

第三周学习代码重构总结

三板斧

极客大学架构师训练营

2020HC大会上,这群人在讨论云原生…

华为云开发者社区

华为 华为云 大会

上手深度学习之前,我们先聊聊“数学”

华为云开发者社区

神经网络 学习 数学

区块链掀起全民创业热潮!数字资产是未来全球最具前景和价值的!

CECBC区块链专委会

区块链 数字货币

一个Hibernate的事务问题

YoungZY

hibernate

太牛了,这份神仙级面试笔记把所有 Java 知识面试题都详解出来了

Java架构之路

Java 程序员 面试 编程语言

谈谈测试

得大自在

测试的价值 测试文化 测试落地

单例模式

knight

架构师训练营 - 作业 - 第二周

Max2012

软件架构(2)-框架设计

Zeke

极客大学架构师训练营

LeetCode题解:242. 有效的字母异位词,数组排序,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

中秋佳节,程序员教你AI三步成诗,秒变“李白”

华为云开发者社区

AI 中秋

演讲经验交流会|ArchSummit 上海站

演讲经验交流会|ArchSummit 上海站

今天我们来聊一聊产业互联网时代下海量数据处理问题-InfoQ