写点什么

今天我们来聊一聊产业互联网时代下海量数据处理问题

2020 年 1 月 06 日

今天我们来聊一聊产业互联网时代下海量数据处理问题

产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。 云原生边缘计算发展现状万物互联时代,终端设备产生的数据将爆炸性增长,据 IDC 研究显示,到 2020 年将产生 500 亿的终端与设备联网,其中 50% 的数据将会在靠近数据源的边缘侧进行分析、处理,以满足业务的低时延诉求。


按照用户 / 终端到中心云的距离,大体上可以划分 3 个“时延圈”,如下图所示:


  • 第一个“圈”是现场边缘,覆盖 1~5ms 时延范围,算力以推理为主,主要面向自动驾驶,工业互联网等实时性业务,典型的现场边缘站点包括边缘服务器,华为智能边缘小站 Atlas 500 等。

  • 第二个“圈”近场边缘,覆盖 5~20ms 时延范围,算力以渲染为主,同时还有一部分推理,主要面向视频场景,典型的近场边缘站点包括 CDN 节点、5G MEC 等。

  • 第三个“圈”则是传统的公有云覆盖范围,用于承载未下沉部分的业务,主要面向大规模场景,例如海量的数据存储、挖掘、AI 深度神经网络模型的训练等。



然而,边缘计算还仍然存在着诸多挑战,例如:


  • 边缘节点 CPU、MEM 等资源受限、硬件资源异构等;

  • 如何与云上业务、AI 平台协同;

  • 海量边缘设备管理和运维,边缘应用的生命周期管理等;

  • 当网络或节点出现故障时,边缘应用需要离线自治能力,确保仍然能够正常运行。


云原生以轻量化的容器技术作为基础平台,资源占用少、快速扩容、高效的应用生命周期管理,基于微服务架构,可扩展性、故障可恢复性,持续交付等特性,非常适合边缘计算场景。


Kubernetes 因通用的应用抽象定义、松耦合的架构、易扩展的 API 框架,已经成为云原生的事实标准,但是还不能完全解决上述边缘计算的诸多挑战,面对边缘计算的轻量化诉求,仍显厚重,因此华为云原生团队针对边缘计算场景对 Kubernetes 进行了增强,最终打造了 CNCF 基金会第一个边缘计算项目——KubeEdge,其优势在于:


  • 云边协同:云边一致的应用使用体验,设备的接入和管理,端边云统一管理和运维界面;

  • 高速云边通信:WebSocket + 消息封装,大幅减少通信压力,网络受限情况下仍能正常工作;

  • 边缘离线自治:边缘节点元数据持久化,实现节点级离线自治,边缘节点故障恢复无需与管理面通信,快速恢复;

  • 极致轻量:重写 Kubelet 模块,极致轻量化(~70mb 内存占用),支持 CRI 集成 Docker、Containerd、CRI-O,优化 runtime 资源消耗。



5G+ 云 +AI 如何互融?5G 解决的是产业互联网时代的海量数据传输问题,云计算解决的是大规模计算问题,5G 和云是密不可分的一对。人工智能、大数据、区块链等为代表的云计算技术与 5G 为代表的通信技术如何互相融合、相互促进?云原生边缘计算技术是一个可行的途径。


5G 的特点可以总结为“一高两低三大”:高可靠性,低功耗、低时延,大连接、大覆盖、大容量,这些特点将催生大量创新业务模式,主要包括以下三大应用场景:


  • eMBB,增强型移动宽带,应用于对带宽有极高需求的业务,如 4K/8K 高清视频、AR/VR/ 云游戏等。

  • mMTC,大规模机器类通信,应用于连接密度要求较高的业务,如智慧城市、环境监测、智能家居等。

  • uRLLC,超可靠低时延类通信,应用于对时延极其敏感的业务,如无人驾驶、工业自动化控制、远程医疗等。


基于云原生的边缘计算,是支撑创新业务模式的最佳选择。例如中心云提供海量算力、存储和统一管控平台,5G MEC 边缘云提供 5G 流量的接入和推理渲染算力,将上述新型业务作为边缘应用,利用云原生的技术快速灵活下发到 MEC 中,数据本地快速闭环,快速推理或渲染,处理结果上传中心云进行全局的分析、处理和优化,以此实现 5G+ 云 +AI 智能互融。具体方案如下图所示。



MEC 是网络部署位置和协议栈方面的第一跳入口,部署到 MEC 的边缘应用可享有数据本地化、流量卸载本地分流快速闭环等优势,可有效降低业务处理时延、减少转发设备跳数 / 性能,从而有效降低业务成本等。通过云原生边缘计算技术,将云和 5G 进行有机的结合,5G 边缘云还可以具有如下优势:


  • 边云协同,中心云对地理离散的边缘应用进行集中化的统一管控和协同,应用可以云边、边边无缝迁移和弹性伸缩,云边、边边网络自动打通等。

  • 边缘智能,可以将 AI 算法下沉到边缘,实现云端训练、边缘推理可极大提升边缘设备的业务处理和智能分析的能力,有效地解决传统端 - 云模式下数据传输效率低、带宽需求量大、分析效率低下、业务处理时延高等诸多问题,让带宽和时延不再成为 AI 使能业务的瓶颈。

  • 完善的云生态,中心云上现有的生态,如智慧园区、智能交通、工业制造、水务水利、智慧商超等多个行业和场景的算法和应用,可以方便的通过云原生边缘计算的方式部署到边缘。


5G+AI+ 云 +IEF 最佳实践华为云智能边缘平台 IEF ,作为 KubeEdge 的商业版,同样是基于容器和 Kubernetes 生态构建,提供具备极致轻量、边云协同的边缘计算服务,除上文中所述的云原生能力外,还具有如下增加特性:


  • 高速消息通道:保证云边之间高速、可靠、有序、安全的进行通信。

  • 离线自治:边缘节点和应用故障快速感知,应用在边缘集群中自动调度,快速迁移,秒级恢复。

  • 边云协同:云边一致的使用体验,应用一次构建到处运行,应用根据负载在云边自适应调度和弹性部署,还可将 AI 算法类、IoT 类、时序数据库、流计算等多种应用从华为云延伸到边缘。

  • 边缘鲲鹏 + 昇腾深度整合:与边缘专用 AI 推理芯片昇腾 310,华为自研 ARM 处理器深度结合,为 AI 容器提供高性能、低成本的边缘算力,性价比提高 3 倍。

  • 开放的边缘生态:基于智能边缘市场,提供边缘应用和硬件的认证、发布,第三方用户快速订阅和推送。


在某智慧园区中,基于华为云 IEF 和 5G MEC,人员识别和机器人的自动巡检相结合,可动态的识别陌生人。AI 人员识别应用利用中心云的算力,在 ModelArts 中快速进行迭代训练,然后将人员识别算法和应用程序通过 Docker 打包成一个容器镜像,通过 IEF 一键下发到 MEC 边缘云,视频流通过 5G 大带宽、低时延网络上传到 MEC 中,直接进行视频智能分析,完成识别。该方案具有如下优势:


  • 云边协同,中心云集中管控,统一运维,中心云训练,边缘云推理;

  • 针对移动和布线不便的场景,5G 具有天然的优势,无需为布线投入资金;

  • 按需使用,容器在 MEC 上可以动态伸缩,平滑扩容,更加高效的利用资源。



基于 5G 的人员识别效果如下图所示。



总 结 云原生边缘计算技术,因其天然的轻量化和可移植性,可以将应用下发到多种具有一定计算能力的设备上,包括 5G MEC;同时凭借强大的边云协同的能力,必将成为 5G + 云 + AI 相互融合时代的重要加速引擎。


扫描下方二维码,备注:公司 + 职位,加入云原生交流群。



对 KubeEdge 感兴趣的点击代码库了解一下。


作者介绍:


欧争光,华为云智能边缘平台 IEF 生态经理


冯飞,华为 Cloud Openlabs 5G NFVI 架构师


2020 年 1 月 06 日 17:29828

评论 1 条评论

发布
用户头像
产业互联网作为移动互联网的未来, 在 5G+ 云 +AI 互融的时代,行业应用如何有效利用 5G、AI 和云计算技术的优势,云原生边缘计算提供了一条可行的途径。
2020 年 01 月 06 日 17:34
回复
没有更多了
发现更多内容

AI让远程交流“更清晰”:GAN消除视频通话中的抖动

Geek_459987

吃透阿里大佬整理的Java面试要点手册,成功五面进阿里(二本学历)

Java架构追梦

Java 学习 架构 面试 核心知识点整理

iOS性能优化 — 一、crash监控及防崩溃处理

iOSer

性能优化 ios开发 Crash 监控及防崩溃处理

《码出高效:Java开发手册》“码” 出高效的同时编写出高质量的代“码”。

Java成神之路

Java 程序员 架构 面试 编程语言

架构必修:领域边界划分方法--职责驱动设计(RDD)

马迪奥

架构 领域 架构师 RDD

攻克金融系统开发难点,借助SpreadJS实现在线导入Excel自定义报表

Geek_Willie

SpreadJS 在线导入excel

DDIA 读书笔记(2)数据模型的存储与检索

莫黎

读书笔记

mPaaS x Menxlab | 1024程序员节:Talk is cheap,Show me the AppID

蚂蚁集团移动开发平台 mPaaS

程序员 开发者 mPaaS 1024

ArCall功能介绍手册

anyRTC开发者

ios 音视频 WebRTC RTC 安卓

GitLab用户切换引发的某程序员“暴动”,怒而开源项目源码

小Q

Java git 学习 开发 代码仓库

Go语言内存管理三部曲(三)图解GC算法和垃圾回收原理

网管

go 内存管理 垃圾回收 GC GC算法

学了那么多 NoSQL 数据库 NoSQL 究竟是啥

哈喽沃德先生

数据库 nosql 非关系型数据库

千万不要往 Shell 里粘贴命令!

大道至简

命令行

自动化测试框架类型,你知道几种?此处介绍5种比较常见的

软测小生

软件测试 自动化测试框架 软件自动化测试

架构师训练营第一周课后作业

李日盛

架构师训练营 1 期 -- 第五周作业

曾彪彪

极客大学架构师训练营

机器学习是什么?

马同学

学习

JavaScript 类型 — 重学 JavaScript

三钻

Java 前端 前端进阶

解析 CloudQuery 审计分析功能

CloudQuery社区

数据库 sql 安全 工具软件

现成区块链交易所开发app,币币撮合交易平台搭建

WX13823153201

现成区块链交易所开发

Microsoft Azure机器学习采用NVIDIA AI为Word编辑器提供语法建议

Geek_459987

LeetCode题解:98. 验证二叉搜索树,递归中序遍历过程中判断,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

架构师训练营第五周学习总结

尹斌

数据湖探索DLI新功能:基于openLooKeng的交互式分析

华为云开发者社区

数据 处理

年纪轻轻怎么就卵巢早衰了?试管可帮忙!

Geek_65d32f

试管 三代试管

vivo 商城前端架构升级—前后端分离篇

vivo互联网技术

Java 前端 前后端分离

趣味科普丨一文读懂云服务器的那些事儿

华为云开发者社区

镜像 服务器 服务

学习总结

饺子

架构训练营第一周学习小结

李日盛

数据结构与算法系列之链表操作全集(一)(GO)

书旅

go 数据结构 数据结构和算法

typora增强-mac

老菜鸟

Typora

今天我们来聊一聊产业互联网时代下海量数据处理问题-InfoQ