阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

工业 AI 时代,大数据云平台未来 5 年迎最佳发展时机

  • 2018-08-19
  • 本文字数:6266 字

    阅读完需:约 21 分钟

导读:继德国工业 4.0 的提出,中国也确立了“中国制造 2025”的目标,工业 4.0 及物联网的概念在中国大地上遍地开花,整个行业也是红红火火。

从工业大数据到智能制造,工业大数据云平台将为工业创新和产能提高带来新的机遇,在万物互联的时代助力生产力的提高,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。

三一重工的Witsight 工业大数据云平台就是国内工业大数据云平台的典型代表。通过三一重工这面镜子,我们得以一窥工业 AI 的应用现状,包括三一重工在内的工业 4.0 大数据云平台在“中国制造 2025”计划中将扮演的角色,以及当工业界与人工智能相遇,将碰撞出的火花。

正文:

1942 年,美国科幻巨匠阿西莫夫提出“机器人三定律”, 一、机器人不得伤害人,也不得见人受到伤害而袖手旁观;二、机器人应服从人的一切命令,但不得违反第一定律;三、机器人应保护自身的安全,但不得违反第一、第二定律。

半个世纪之后,我们已随处可见智能机器人的身影。2018 年 8 月,OpenAI 实验室研制的机械手,已经能够灵活控制六面立方体,这表明仿真操控做到了极佳的优化。



我们身边越来越多的智能产品说明,我们已不可抵挡地身处于一个智能的时代。事实上,除了日常生活中普通人可以切身体会的语音助手等智能产品,在我们不常看不到的工厂车间里,智能化的步伐早已来临...

当人工智能遇见冷冰冰的工业,会碰撞出什么样的火花呢?今天我们将通过三一重工的工业大数据云平台 Witsight,来一窥在万物互联的人工智能时代,大数据云平台在其中扮演着什么样的角色。

揭秘三一重工 Witsight 工业大数据云平台

在大多数人的印象里,三一重工可能就是一家大型重型机械生产商,最容易联想到在施工场地忙碌的挖掘机、起重机等。

事实上,三一重工研究所是三一重工旗下的一个全资子公司,全称是上海华兴数字有限公司,其核心产品包括显示屏、控制器、遥控器以及易维迅系统,被应用于挖掘机、履带吊、挖掘钻机、泵车、起重机、装载机、矿山车以及搅拌站等工程机械的监控、管理与维护。但在随着工业物联网在快速发展,华兴也尝试利用云计算、大数据等技术丰富产品的功能,2014 年华兴采用大数据的方式取代经验值,通过统计档位、模式与操作习惯来实现设备的高效匹配。

2016 年,华兴开始建设 WitSight 工业大数据云平台。主要应用有两个,一个是智慧风场(用于管理分析风力发电机),一个是易维迅系统(用于管理挖掘机等工程机械设备)。利用云平台在资源调度上的优势和大数据系统对海量信息实时处理的功能,将设备上传数据的间隔由分钟级缩短秒级,并建立事件数据库。

据悉,三一重工目前拥有 30 多万台大型的工程机械设备的保有量,每一个设备都有大量的传感器参数上报到三一重工自主研发的 Witsight 工业大数据云平台上,每天存储处理的数据容量为 200G,一年 70T 左右的数据量。三一重工华兴工业大数据云平台主要用于管理挖掘机、桩机为主,以公司的自身需求为主,但在设计之初就考虑到了平台的通用性,在设备接入层,除了三一重工设备专有协议的开发之外,同时也支持 MQTT 等国际通用协议;在数据存储与数据建模层也考虑到了对接不同厂商、不同类型的多元化设备。

张翔从技术和架构两个层面讲解了 Witsight 工业大数据云平台是如何工作的。

  1. 技术层面:



Witsight 采用 DCOS 技术方案,通过大数据平台整合 Spark、Kafka、Cassandra、Mysql、Redis、Netty、Rabbitmq 等关键技术和应用,实现对于工程机械设备数据的采集、分析、存储的需求。

**Spark:**:提供系统高效的并行计算能力,能够准实时地处理 100 万台海量设备上传的工况数据。 

**Cassandra:** 提供海量数据的快速高效存储及查询,保障设备工况数据及时写入,数据延时小于 10s。 

**Kafka:** 一种高吞吐量的分布式发布订阅消息系统,它可以处理挖机所有动作的流数据。 

**Mysql:** 使用主从集群模式,提供设备基本数据的存储和报表数据的存储。

  1. 平台架构层面



如上图所示,华兴 EVIcloud 整体架构分为计算平台、业务平台与可视化三个部分。其中计算平台主要用来实现数据的采集、传输、存储、处理与分析等功能。业务平台又分为通用业务与产品业务,通用业务用来实现设备管理、运维人员管理、安全管理以及运行监控,而产品业务则会根据不同产品的属性和功能进行合理的建模。可视化部分则用于实现数据、矢量组态与报表的多终端显示、分布式控制以及图形自由编排与联通。 

WitSight 的优势在于本土化

在工业大数据云平台领域,GE(Predix)、SIEMENS(MindSphere)开创了大数据平台的先河,在行业内占据绝对领导地位。与之相比,三一重工的 WitSight 核心能力和优势体现在哪里呢?

对此,张翔引用了百度和谷歌的故事、阿里与 eBay 的故事。他说道:“国外的企业和产品进入国内,往往第一个要考虑的是本土化的问题。 三一重工是中国大地上孕育出来的世界级企业, 三一重工华兴工业大数据云平台也是中国土生土长的工业大数据云平台。人家说背靠大树好乘凉,三一重工华兴工业大数据云平台以管理三一设备开始,从 2010 开始开发并投入使用,工业大数据云平台经过了这么多年的打磨与经验积累,现在已经可以处理 30 万在线设备,处理速度提升到了秒级。” 

开发过程并非一帆风顺

万事开头难,尤其是搭建这样大规模的工业大数据云平台。张翔告诉 AI 前线,三一重工团队在整个构建工业大数据云平台的过程遇到了不少的难题,比如在平台运行的过程中,分布在全球各地的机器与装备的传感器需要实时地将数据传送至 WitSight 数据分析平台上,然后经过平台的传输、处理和分析最终将数据通过可视化的方式灵活地呈现给用户。整个数据传输和处理的过程虽然看似简单,实现它们却需要精心地设计整体架构,组合多种软件和工具并且要经过反复的测试验证和不断的迭代。WitSight 平台中的数据传输、数据存储以及数据处理等平台需要集成 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件。此外,平台也需要集成 devops 等工具,从而实现业务的敏捷开发与交付。在开发 WitSight 平台以及智慧风场、EVIcloud 应用的过程中,华兴曾经设想并尝试过多种解决方案,利用传统的虚拟机交付或者申请公有云 IaaS 资源交付,但这会面临着下述的一些问题: 

  1.  部署配置复杂,每种软件都需要相关专业的人员进行部署和配置,即使采用第三方工具,交付周期也需要数天甚至数周。
  2. 每个虚拟机只能用于特定的服务,同一个虚拟机不能同时运行多种应用,资源的整体利用率得不到提高。 
  3. 遇到业务高峰时,需要申请新的 IaaS 资源,然后在虚拟机上继续部署软件,整个流程繁琐,效率低下,无法做到全自动化地完成资源的弹性伸缩。 
  4. Kafka、Cassandra、Spark、HDFS、Mongodb 等软件架构相对复杂,在生产环境中往往需新招聘相关大量运维技能的人员或者花费大量的时间培训内部员工。这种方式大大提升了软件的使用门槛、复杂度以及成本。
  5. 无论是采用开源软件还是使用企业版软件,当 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件在使用中遇到了难题或者生产过程中出现故障时,研发人员与运维人员需要自行查询资料解决问题或者单独联系各个软件供应商解决问题,管理分散,无法快速突破技术难题、保证故障在第一时间内得到响应。
  6. 网络与数据的安全无法得到有效的保证,无法实现网络保护以及平台数据的备份与恢复的集中管理。 

面对这些实际的问题,三一重工上海华兴更需要的是一个以应用为中心,在同一套基础设施上能够支撑不同类型业务负载的新一代云原生应用平台。经过反复的思考、测试与验证,三一重工决定彩用 DC/OS(Mesos) 作为底层平台来支撑 WitSight 上的各种应用、工具和业务。这样,上述难题就得以解决了。

未来 5 年将是工业大数云平台发展最好的时机

在万物互联时代,的出现是顺应时代发展要求的产物,在推动工业发展上它会扮演什么角色呢?另一方面,在“中国制造 2025”计划目标的驱动下,包括 WitSight 在内的工业大数据云平台会为中国未来的发展做出什么贡献呢?对此,张翔有着自己的理解。



“万物互联,即指的是物联网,这几年物联网的概念遍地开花,比如穿戴设备出现、家庭智能设备的出现,都标志的物联网的发展,物联网的英文是 IOT,工业物联网的英文叫 IIOT, 工业物联网就是物联网在工业行业的应用。工业 4.0 是由德国最先提出来的,之后中国马上提出了中国自己的“中国制造 2025”,所以可以看出,工业物联网的发展不仅是产业层面的需求,同时得到了国家政策层的支持,是未来的一个发展方向。工业大数据云平台就是在这样一个天时地利人和的环境下的产物,它顺应产业与时代的发展需求,我相信未来 5 年将是工业大数云平台发展最好的时机。”

不破不立,不新不进,创新对于工业企业转型来说至关重要。对于工业大数据云平台,三一重工在公司层面有三年规划与五年规划,有一整套的商业模式与发展战略(详细内容不便透露)。但在创新之下,三一在挖掘机领域的国内销量已经多年第一,张翔认为公司未来在大工业大数据云平台领域也能引领行业的发展。

物联网是新一代信息网络技术的高度集成和综合应用,是新一轮产业革命的重要方向和世界产业格局重构的重要推动力。展望未来,工业物联网将呈现三大演进趋势:

  1. 数据处理方面: 设备联接趋于多元化,未来的设备在种类与数量上会有几何指数的增长,如果把设备消息的解析与计算放到云端,对于云端会有很大的压力,未来的发展数据的初步处理与计算会越来越边缘化,目前行业内提倡的“边缘计算”指的就是这个。
  2.  产业生态方面: 目前很多企业都在自己做工业物联网,平台方面都是孤立的,每家的平台都不一样;信息方面也是各家独享。 在未来,每一家的工业设备厂家都是每个工业物联网体系的一员,形成平台共享、信息共享,形成一个集群效应、协同发展的新生态体系。
  3. 应用关注度方面: 工业物联网不仅能够实现设备的互联,还能够通过优化产品类型、维护客户关系为企业服务。目前工业物联网的关注点都在设备资产这块,但对于优化产品类型、维护客户关系关注比较少。未来工业物联网在收集产品与客户的信息方面发挥重要作用,对于这方面信息的收集,来提升产品的满意度、吸引力,同时又能提升客户关系。

工业 AI 的现状与未来

自从阿尔法狗打败了李世石和柯洁之后,人工智能就开始走进了人们的生活,同时也越来越多的走近了工业领域。OpenAI 的机械手自动识别六面体属于 AI,机械手自动组装挖掘机也属于 AI,我们平时经常提到的机器学习也属于 AI 范畴。大家都知道,机器学习 = 数据 + 特征 + 模型。在工业物联网行业,数据不是问题,有设备就有数据,但基于数据去提取特征与建立有效的模型是工业物联网领域的难点,不同的工业领域,特征与模型可能截然不同。所以,想要 AI 在工业领域有所发展,对于工业行业领域的细分与深入研究是必不可少的。目前工业行业内普遍的 AI 水平在如下三个方面:

  1. 应用数据的可视化分析。

人工智能除了能够收集设备运行的各项数据 (如温度、转速、能耗情况、生产力状况等),并存储数据以供二次分析,对生产线进行节能优化,提前检测出设备运行是否异常,同时提供降低能耗的措施。

  1. 机器的自我诊断。

比如一条生产线突然发出故障报警,机器能够自己进行诊断,找到哪里产生了问题,原因是什么,同时还能够根据历史维护的记录或者维护标准,告诉我们如何解决故障,甚至让机器自己解决问题、自我恢复。

  1. 预测性维护。

通过人工智能技术让机器在出现问题之前就感知到或者分析出可能出现的问题。比如,挖掘机在运行一段时间后设备的部件可能出现损耗,通过分析历史的运行数据,机器可以提前知道部件损耗的时间,从而提前准备好更换的配件,并安排在最近的一次维护时更换部件。

除此之外,工业 AI 还可用于:

  1. 自动分析设备故障情况。
  2. 自动预测设备故障。
  3. 根据设定的参数,自动进行挖掘作业。
  4. 通过挖掘机上面的摄像头,进行人脸识别与挖机手的行为分析,来对挖机手进行考核、安全提示等。

但是,和所有新兴技术一样,工业 AI 在发展的早期总会面临各种困难和挑战。

“工业 AI 越来越普及的今天与未来,‘安全’是现在与未来的一大挑战,在这里‘安全’的范围比较广,比如:信息的安全、设备的安全、以及设备对于人的安全等,这是工业 AI 未来面临的最大挑战,希望在不久的将来也会出来‘工来 AI 三定律’来解决这个问题。”

采访嘉宾

张翔,三一重工研究所所长。硕士毕业于复旦大学,之前在上海贝尔工作,现在就职于三一重工。 张翔拥有 11 年电信行业兼互联网的工作经验。11 年间,他从事过所长、技术经理、项目经理、系统工程师等岗位,并且有 8 年管理经验,有着丰富的管理大型研发团队的经验;7 年从事全球项目团队的管理经验;以及 3 年大数据、工业 4.0、工业物联网经验。

感谢蔡芳芳对本文的审校。

会议推荐

人工智能能给业务带来怎样的帮助?

在视觉搜索功能的帮助下,Pinterest 的公司业务和用户体验都有所提高。 线上实验表明, 用户在 related Pins 的参与度在视觉搜索技术的帮助下有了 5 -10% 的提高。LinkedIn 的推荐系统也极大帮助了用户的留存及增长。

QCon 上海 2018 邀请到硅谷有代表性互联网公司的技术专家,分享人工智能领域的前沿研发经验。大会 8 折报名中,立减 1360 元。有任何问题欢迎咨询票务经理 Hanna,电话:010-84782011,微信:qcon-0410。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2018-08-19 18:182254
用户头像

发布了 42 篇内容, 共 13.6 次阅读, 收获喜欢 53 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

react的jsx和React.createElement是什么关系?面试常问

beifeng1996

React

React源码分析6-hooks源码

goClient1992

React

软件测试面试真题 |你用过哪些用例设计方法?

测试人

软件测试 面试题 测试用例

EMQ荣获“2022中国移动创客马拉松OneOS物联网专题赛”三等奖

EMQ映云科技

物联网 IoT emqx 云边协同 车路协同

面试官最喜欢问的几个react相关问题

beifeng1996

React

计算机网络:信道划分介质访问控制

timerring

计算机网络 11月月更 信道划分

高效数据通道支撑生产情况实时分析与可视化|工业4.0智慧工厂

EMQ映云科技

物联网 IoT 数据可视化 11月月更 云边协同

python中私有成员和公有成员

乔乔

11月月更

云原生系列四:Yelp 如何在 Kubernetes 上运行 Kafka

叶秋学长

kafka Kubernetes 11月月更 Yelp

Databend 集群部署 | 新手篇(2)

Databend

开源

在Dubbo中,模板方法模式 用得真6

小小怪下士

Java 程序员 dubbo 阿里

谈谈企业级前端应用中客户端渲染和服务器端渲染的区别

Jerry Wang

前端开发 SSR SAP Spartacus 11月月更

HDC 2022精彩继续,多重亮点进来看!

HarmonyOS开发者

HarmonyOS

业界首个!快手提出亿级别多模态短视频百科体系——快知Kuaipedia

Geek老T

短视频 快手 泛知识

代码质量与安全 | 想在发布竞赛中胜出?Sonar来帮你

龙智—DevSecOps解决方案

代码质量 代码安全

云栖大会,未来万物皆是计算机?

阿里云视频云

阿里云 云栖大会

react相关面试知识点总结

beifeng1996

React

京东云开发者|深入JDK中的Optional

京东科技开发者

jdk java8 NPE 空指针 Optional

SAP 电商云的 Spartacus Storefront 如何配置多个 JavaScript Application

Jerry Wang

angular SAP commerce 电商云 11月月更

React源码分析7-state计算流程和优先级

goClient1992

React

专业移动办公解决方案!远程控制软件RayLink内测火热进行中!

RayLink远程工具

远程控制软件 远程办公软件 远控软件 远程桌面连接 RayLink

优秀开源云原生工具推荐——系列4

HummerCloud

云原生 边缘计算 优秀开源项目 开源云工具 11月月更

React面试:谈谈虚拟DOM,Diff算法与Key机制

beifeng1996

React

万字详解JVM,让你一文吃透

华为云开发者联盟

开发 华为云 企业号十月 PK 榜

DevUI开源经验分享:从0到1开始运营你的开源项目

华为云开发者联盟

开源 华为云 企业号十月 PK 榜

我把分布式音乐播放器适配了Stage模型

OpenHarmony开发者

OpenHarmony

京东云开发者|深入JDK中的Optional

京东科技开发者

jdk java8 NPE 空指针 Optional

京东云开发者|软件架构可视化及C4模型:架构设计不仅仅是UML

京东科技开发者

软件架构 架构设计 架构可视化 图形化编排 C4模型

认证升级 | 秒云再次获评软件企业认证

MIAOYUN

双软认证 软件企业认证 软件产品认证

云上创新!观测云携手阿里云日志服务 SLS,全面升级云上应用可观测性体验

观测云

AI 模型编译器 MegCC 开源,解决推理引擎体积问题

MegEngineBot

深度学习 开源 MegEngine MegCC AI 模型编译器

工业AI时代,大数据云平台未来5年迎最佳发展时机_大数据_陈利鑫_InfoQ精选文章