写点什么

工业 AI 时代,大数据云平台未来 5 年迎最佳发展时机

  • 2018-08-19
  • 本文字数:6266 字

    阅读完需:约 21 分钟

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

导读:继德国工业 4.0 的提出,中国也确立了“中国制造 2025”的目标,工业 4.0 及物联网的概念在中国大地上遍地开花,整个行业也是红红火火。

从工业大数据到智能制造,工业大数据云平台将为工业创新和产能提高带来新的机遇,在万物互联的时代助力生产力的提高,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。

三一重工的Witsight 工业大数据云平台就是国内工业大数据云平台的典型代表。通过三一重工这面镜子,我们得以一窥工业 AI 的应用现状,包括三一重工在内的工业 4.0 大数据云平台在“中国制造 2025”计划中将扮演的角色,以及当工业界与人工智能相遇,将碰撞出的火花。

正文:

1942 年,美国科幻巨匠阿西莫夫提出“机器人三定律”, 一、机器人不得伤害人,也不得见人受到伤害而袖手旁观;二、机器人应服从人的一切命令,但不得违反第一定律;三、机器人应保护自身的安全,但不得违反第一、第二定律。

半个世纪之后,我们已随处可见智能机器人的身影。2018 年 8 月,OpenAI 实验室研制的机械手,已经能够灵活控制六面立方体,这表明仿真操控做到了极佳的优化。



我们身边越来越多的智能产品说明,我们已不可抵挡地身处于一个智能的时代。事实上,除了日常生活中普通人可以切身体会的语音助手等智能产品,在我们不常看不到的工厂车间里,智能化的步伐早已来临...

当人工智能遇见冷冰冰的工业,会碰撞出什么样的火花呢?今天我们将通过三一重工的工业大数据云平台 Witsight,来一窥在万物互联的人工智能时代,大数据云平台在其中扮演着什么样的角色。

揭秘三一重工 Witsight 工业大数据云平台

在大多数人的印象里,三一重工可能就是一家大型重型机械生产商,最容易联想到在施工场地忙碌的挖掘机、起重机等。

事实上,三一重工研究所是三一重工旗下的一个全资子公司,全称是上海华兴数字有限公司,其核心产品包括显示屏、控制器、遥控器以及易维迅系统,被应用于挖掘机、履带吊、挖掘钻机、泵车、起重机、装载机、矿山车以及搅拌站等工程机械的监控、管理与维护。但在随着工业物联网在快速发展,华兴也尝试利用云计算、大数据等技术丰富产品的功能,2014 年华兴采用大数据的方式取代经验值,通过统计档位、模式与操作习惯来实现设备的高效匹配。

2016 年,华兴开始建设 WitSight 工业大数据云平台。主要应用有两个,一个是智慧风场(用于管理分析风力发电机),一个是易维迅系统(用于管理挖掘机等工程机械设备)。利用云平台在资源调度上的优势和大数据系统对海量信息实时处理的功能,将设备上传数据的间隔由分钟级缩短秒级,并建立事件数据库。

据悉,三一重工目前拥有 30 多万台大型的工程机械设备的保有量,每一个设备都有大量的传感器参数上报到三一重工自主研发的 Witsight 工业大数据云平台上,每天存储处理的数据容量为 200G,一年 70T 左右的数据量。三一重工华兴工业大数据云平台主要用于管理挖掘机、桩机为主,以公司的自身需求为主,但在设计之初就考虑到了平台的通用性,在设备接入层,除了三一重工设备专有协议的开发之外,同时也支持 MQTT 等国际通用协议;在数据存储与数据建模层也考虑到了对接不同厂商、不同类型的多元化设备。

张翔从技术和架构两个层面讲解了 Witsight 工业大数据云平台是如何工作的。

  1. 技术层面:



Witsight 采用 DCOS 技术方案,通过大数据平台整合 Spark、Kafka、Cassandra、Mysql、Redis、Netty、Rabbitmq 等关键技术和应用,实现对于工程机械设备数据的采集、分析、存储的需求。

**Spark:**:提供系统高效的并行计算能力,能够准实时地处理 100 万台海量设备上传的工况数据。 

**Cassandra:** 提供海量数据的快速高效存储及查询,保障设备工况数据及时写入,数据延时小于 10s。 

**Kafka:** 一种高吞吐量的分布式发布订阅消息系统,它可以处理挖机所有动作的流数据。 

**Mysql:** 使用主从集群模式,提供设备基本数据的存储和报表数据的存储。

  1. 平台架构层面



如上图所示,华兴 EVIcloud 整体架构分为计算平台、业务平台与可视化三个部分。其中计算平台主要用来实现数据的采集、传输、存储、处理与分析等功能。业务平台又分为通用业务与产品业务,通用业务用来实现设备管理、运维人员管理、安全管理以及运行监控,而产品业务则会根据不同产品的属性和功能进行合理的建模。可视化部分则用于实现数据、矢量组态与报表的多终端显示、分布式控制以及图形自由编排与联通。 

WitSight 的优势在于本土化

在工业大数据云平台领域,GE(Predix)、SIEMENS(MindSphere)开创了大数据平台的先河,在行业内占据绝对领导地位。与之相比,三一重工的 WitSight 核心能力和优势体现在哪里呢?

对此,张翔引用了百度和谷歌的故事、阿里与 eBay 的故事。他说道:“国外的企业和产品进入国内,往往第一个要考虑的是本土化的问题。 三一重工是中国大地上孕育出来的世界级企业, 三一重工华兴工业大数据云平台也是中国土生土长的工业大数据云平台。人家说背靠大树好乘凉,三一重工华兴工业大数据云平台以管理三一设备开始,从 2010 开始开发并投入使用,工业大数据云平台经过了这么多年的打磨与经验积累,现在已经可以处理 30 万在线设备,处理速度提升到了秒级。” 

开发过程并非一帆风顺

万事开头难,尤其是搭建这样大规模的工业大数据云平台。张翔告诉 AI 前线,三一重工团队在整个构建工业大数据云平台的过程遇到了不少的难题,比如在平台运行的过程中,分布在全球各地的机器与装备的传感器需要实时地将数据传送至 WitSight 数据分析平台上,然后经过平台的传输、处理和分析最终将数据通过可视化的方式灵活地呈现给用户。整个数据传输和处理的过程虽然看似简单,实现它们却需要精心地设计整体架构,组合多种软件和工具并且要经过反复的测试验证和不断的迭代。WitSight 平台中的数据传输、数据存储以及数据处理等平台需要集成 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件。此外,平台也需要集成 devops 等工具,从而实现业务的敏捷开发与交付。在开发 WitSight 平台以及智慧风场、EVIcloud 应用的过程中,华兴曾经设想并尝试过多种解决方案,利用传统的虚拟机交付或者申请公有云 IaaS 资源交付,但这会面临着下述的一些问题: 

  1.  部署配置复杂,每种软件都需要相关专业的人员进行部署和配置,即使采用第三方工具,交付周期也需要数天甚至数周。
  2. 每个虚拟机只能用于特定的服务,同一个虚拟机不能同时运行多种应用,资源的整体利用率得不到提高。 
  3. 遇到业务高峰时,需要申请新的 IaaS 资源,然后在虚拟机上继续部署软件,整个流程繁琐,效率低下,无法做到全自动化地完成资源的弹性伸缩。 
  4. Kafka、Cassandra、Spark、HDFS、Mongodb 等软件架构相对复杂,在生产环境中往往需新招聘相关大量运维技能的人员或者花费大量的时间培训内部员工。这种方式大大提升了软件的使用门槛、复杂度以及成本。
  5. 无论是采用开源软件还是使用企业版软件,当 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件在使用中遇到了难题或者生产过程中出现故障时,研发人员与运维人员需要自行查询资料解决问题或者单独联系各个软件供应商解决问题,管理分散,无法快速突破技术难题、保证故障在第一时间内得到响应。
  6. 网络与数据的安全无法得到有效的保证,无法实现网络保护以及平台数据的备份与恢复的集中管理。 

面对这些实际的问题,三一重工上海华兴更需要的是一个以应用为中心,在同一套基础设施上能够支撑不同类型业务负载的新一代云原生应用平台。经过反复的思考、测试与验证,三一重工决定彩用 DC/OS(Mesos) 作为底层平台来支撑 WitSight 上的各种应用、工具和业务。这样,上述难题就得以解决了。

未来 5 年将是工业大数云平台发展最好的时机

在万物互联时代,的出现是顺应时代发展要求的产物,在推动工业发展上它会扮演什么角色呢?另一方面,在“中国制造 2025”计划目标的驱动下,包括 WitSight 在内的工业大数据云平台会为中国未来的发展做出什么贡献呢?对此,张翔有着自己的理解。



“万物互联,即指的是物联网,这几年物联网的概念遍地开花,比如穿戴设备出现、家庭智能设备的出现,都标志的物联网的发展,物联网的英文是 IOT,工业物联网的英文叫 IIOT, 工业物联网就是物联网在工业行业的应用。工业 4.0 是由德国最先提出来的,之后中国马上提出了中国自己的“中国制造 2025”,所以可以看出,工业物联网的发展不仅是产业层面的需求,同时得到了国家政策层的支持,是未来的一个发展方向。工业大数据云平台就是在这样一个天时地利人和的环境下的产物,它顺应产业与时代的发展需求,我相信未来 5 年将是工业大数云平台发展最好的时机。”

不破不立,不新不进,创新对于工业企业转型来说至关重要。对于工业大数据云平台,三一重工在公司层面有三年规划与五年规划,有一整套的商业模式与发展战略(详细内容不便透露)。但在创新之下,三一在挖掘机领域的国内销量已经多年第一,张翔认为公司未来在大工业大数据云平台领域也能引领行业的发展。

物联网是新一代信息网络技术的高度集成和综合应用,是新一轮产业革命的重要方向和世界产业格局重构的重要推动力。展望未来,工业物联网将呈现三大演进趋势:

  1. 数据处理方面: 设备联接趋于多元化,未来的设备在种类与数量上会有几何指数的增长,如果把设备消息的解析与计算放到云端,对于云端会有很大的压力,未来的发展数据的初步处理与计算会越来越边缘化,目前行业内提倡的“边缘计算”指的就是这个。
  2.  产业生态方面: 目前很多企业都在自己做工业物联网,平台方面都是孤立的,每家的平台都不一样;信息方面也是各家独享。 在未来,每一家的工业设备厂家都是每个工业物联网体系的一员,形成平台共享、信息共享,形成一个集群效应、协同发展的新生态体系。
  3. 应用关注度方面: 工业物联网不仅能够实现设备的互联,还能够通过优化产品类型、维护客户关系为企业服务。目前工业物联网的关注点都在设备资产这块,但对于优化产品类型、维护客户关系关注比较少。未来工业物联网在收集产品与客户的信息方面发挥重要作用,对于这方面信息的收集,来提升产品的满意度、吸引力,同时又能提升客户关系。

工业 AI 的现状与未来

自从阿尔法狗打败了李世石和柯洁之后,人工智能就开始走进了人们的生活,同时也越来越多的走近了工业领域。OpenAI 的机械手自动识别六面体属于 AI,机械手自动组装挖掘机也属于 AI,我们平时经常提到的机器学习也属于 AI 范畴。大家都知道,机器学习 = 数据 + 特征 + 模型。在工业物联网行业,数据不是问题,有设备就有数据,但基于数据去提取特征与建立有效的模型是工业物联网领域的难点,不同的工业领域,特征与模型可能截然不同。所以,想要 AI 在工业领域有所发展,对于工业行业领域的细分与深入研究是必不可少的。目前工业行业内普遍的 AI 水平在如下三个方面:

  1. 应用数据的可视化分析。

人工智能除了能够收集设备运行的各项数据 (如温度、转速、能耗情况、生产力状况等),并存储数据以供二次分析,对生产线进行节能优化,提前检测出设备运行是否异常,同时提供降低能耗的措施。

  1. 机器的自我诊断。

比如一条生产线突然发出故障报警,机器能够自己进行诊断,找到哪里产生了问题,原因是什么,同时还能够根据历史维护的记录或者维护标准,告诉我们如何解决故障,甚至让机器自己解决问题、自我恢复。

  1. 预测性维护。

通过人工智能技术让机器在出现问题之前就感知到或者分析出可能出现的问题。比如,挖掘机在运行一段时间后设备的部件可能出现损耗,通过分析历史的运行数据,机器可以提前知道部件损耗的时间,从而提前准备好更换的配件,并安排在最近的一次维护时更换部件。

除此之外,工业 AI 还可用于:

  1. 自动分析设备故障情况。
  2. 自动预测设备故障。
  3. 根据设定的参数,自动进行挖掘作业。
  4. 通过挖掘机上面的摄像头,进行人脸识别与挖机手的行为分析,来对挖机手进行考核、安全提示等。

但是,和所有新兴技术一样,工业 AI 在发展的早期总会面临各种困难和挑战。

“工业 AI 越来越普及的今天与未来,‘安全’是现在与未来的一大挑战,在这里‘安全’的范围比较广,比如:信息的安全、设备的安全、以及设备对于人的安全等,这是工业 AI 未来面临的最大挑战,希望在不久的将来也会出来‘工来 AI 三定律’来解决这个问题。”

采访嘉宾

张翔,三一重工研究所所长。硕士毕业于复旦大学,之前在上海贝尔工作,现在就职于三一重工。 张翔拥有 11 年电信行业兼互联网的工作经验。11 年间,他从事过所长、技术经理、项目经理、系统工程师等岗位,并且有 8 年管理经验,有着丰富的管理大型研发团队的经验;7 年从事全球项目团队的管理经验;以及 3 年大数据、工业 4.0、工业物联网经验。

感谢蔡芳芳对本文的审校。

会议推荐

人工智能能给业务带来怎样的帮助?

在视觉搜索功能的帮助下,Pinterest 的公司业务和用户体验都有所提高。 线上实验表明, 用户在 related Pins 的参与度在视觉搜索技术的帮助下有了 5 -10% 的提高。LinkedIn 的推荐系统也极大帮助了用户的留存及增长。

QCon 上海 2018 邀请到硅谷有代表性互联网公司的技术专家,分享人工智能领域的前沿研发经验。大会 8 折报名中,立减 1360 元。有任何问题欢迎咨询票务经理 Hanna,电话:010-84782011,微信:qcon-0410。

公众号推荐:

AIGC 技术正以惊人的速度重塑着创新的边界,InfoQ 首期《大模型领航者AIGC实践案例集锦》电子书,深度对话 30 位国内顶尖大模型专家,洞悉大模型技术前沿与未来趋势,精选 10 余个行业一线实践案例,全面展示大模型在多个垂直行业的应用成果,同时,揭秘全球热门大模型效果,为创业者、开发者提供决策支持和选型参考。关注「AI前线」,回复「领航者」免费获取电子书。

2018-08-19 18:182305
用户头像

发布了 42 篇内容, 共 13.9 次阅读, 收获喜欢 53 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

Github标星28K+,这款可视化的对象存储服务真香

爱好编程进阶

Java 程序员 后端开发

OpenMLDB官网升级,神秘贡献者地图带你快速进阶!

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

跟我学Python图像处理丨掌握4种图像平滑算法

华为云开发者联盟

Python OpenCV 图像属性 兴趣ROI区域 图像通道

JAVA为什么需要注解?

源字节1号

Swoole 定时器能实现毫秒级任务调度,你敢相信吗?

CRMEB

案例分享|一键式自动监测,跨境电商平台的业务转型模板

博睿数据

博睿数据 数据链DNA

我是如何做到百万数据跑批半小时结束

skow

后端 java

CWE 4.7中的新视图:工业控制系统的安全漏洞类别

华为云开发者联盟

安全漏洞 cwe 软件安全 CWE 4.7 工业控制系统

ICT架构体系详细说明【3】

爱好编程进阶

程序员 后端开发

十年磨一剑|沃趣数据库云产品战略首发

沃趣科技

云原生 公有云 私有云 数据库云 沃趣科技

火山引擎入选“2022 中国边缘计算20强”榜单

火山引擎边缘云

边缘计算

【等保测评】2022年深圳等保测评公司排名看这里!

行云管家

等保 深圳 等保测评 等保2.0

升级HarmonyOS 2最新版本,出门亮健康码快人一步!

科技汇

Connection reset

领创集团Advance Intelligence Group

Connection reset

GitHub成功收获87

爱好编程进阶

Java 程序员 后端开发

Hadoop05【命令操作】

爱好编程进阶

Java 程序员 后端开发

大数据培训HBase读写性能优化的详解

@零度

大数据 HBase

web前端培训React性能优化总结

@零度

前端开发 React

直播预告丨Hello HarmonyOS进阶课程第二课——计算机视觉

HarmonyOS开发者

HarmonyOS 图形图像 视觉开发

【IT运维】运维告警方式有哪些?哪个工具好用?

行云管家

服务器 IT运维 服务器运维

数据增强(一):imgaug

AIWeker

人工智能 深度学习 数据增强 5月月更

AI驱动音乐创新,网易数帆X云音乐刷新MIREX世界纪录

网易数帆

人工智能 AI 语音识别 歌词识别 预练习

时序数据库为万物互联打下坚实的基石

华为云开发者联盟

数据仓库 物联网 时序数据库 GaussDB 时序数据

java培训Redis数据结构面试分享

@零度

redis JAVA开发

RGB色彩空间

Loken

音视频 5月月更

秒云助力上海金融信息技术应用创新联合攻关基地正式上线信创容器云平台

MIAOYUN

云原生 信创 智能运维 一云多芯解决方案

Hadoop 3

爱好编程进阶

Java 程序员 后端开发

如何开发 LAXCUS 分布式应用软件(二):基本构成

LAXCUS分布式操作系统

集群架构 并行计算 分布式操作系统 分布式应用

TASKCTL分布式任务调度平台-流程控制原理

敏捷调度TASKCTL

程序员 DevOps 分布式 大数据运维 TASKCTL

跨端跨框架 UI 自动化测试方案 Flybirds

liang chen

【Linux深潜】详解Linux系统自身安全调优配置

沃趣科技

Linux

工业AI时代,大数据云平台未来5年迎最佳发展时机_大数据_陈利鑫_InfoQ精选文章