阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

工业 AI 时代,大数据云平台未来 5 年迎最佳发展时机

  • 2018-08-19
  • 本文字数:6266 字

    阅读完需:约 21 分钟

导读:继德国工业 4.0 的提出,中国也确立了“中国制造 2025”的目标,工业 4.0 及物联网的概念在中国大地上遍地开花,整个行业也是红红火火。

从工业大数据到智能制造,工业大数据云平台将为工业创新和产能提高带来新的机遇,在万物互联的时代助力生产力的提高,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。

三一重工的Witsight 工业大数据云平台就是国内工业大数据云平台的典型代表。通过三一重工这面镜子,我们得以一窥工业 AI 的应用现状,包括三一重工在内的工业 4.0 大数据云平台在“中国制造 2025”计划中将扮演的角色,以及当工业界与人工智能相遇,将碰撞出的火花。

正文:

1942 年,美国科幻巨匠阿西莫夫提出“机器人三定律”, 一、机器人不得伤害人,也不得见人受到伤害而袖手旁观;二、机器人应服从人的一切命令,但不得违反第一定律;三、机器人应保护自身的安全,但不得违反第一、第二定律。

半个世纪之后,我们已随处可见智能机器人的身影。2018 年 8 月,OpenAI 实验室研制的机械手,已经能够灵活控制六面立方体,这表明仿真操控做到了极佳的优化。



我们身边越来越多的智能产品说明,我们已不可抵挡地身处于一个智能的时代。事实上,除了日常生活中普通人可以切身体会的语音助手等智能产品,在我们不常看不到的工厂车间里,智能化的步伐早已来临...

当人工智能遇见冷冰冰的工业,会碰撞出什么样的火花呢?今天我们将通过三一重工的工业大数据云平台 Witsight,来一窥在万物互联的人工智能时代,大数据云平台在其中扮演着什么样的角色。

揭秘三一重工 Witsight 工业大数据云平台

在大多数人的印象里,三一重工可能就是一家大型重型机械生产商,最容易联想到在施工场地忙碌的挖掘机、起重机等。

事实上,三一重工研究所是三一重工旗下的一个全资子公司,全称是上海华兴数字有限公司,其核心产品包括显示屏、控制器、遥控器以及易维迅系统,被应用于挖掘机、履带吊、挖掘钻机、泵车、起重机、装载机、矿山车以及搅拌站等工程机械的监控、管理与维护。但在随着工业物联网在快速发展,华兴也尝试利用云计算、大数据等技术丰富产品的功能,2014 年华兴采用大数据的方式取代经验值,通过统计档位、模式与操作习惯来实现设备的高效匹配。

2016 年,华兴开始建设 WitSight 工业大数据云平台。主要应用有两个,一个是智慧风场(用于管理分析风力发电机),一个是易维迅系统(用于管理挖掘机等工程机械设备)。利用云平台在资源调度上的优势和大数据系统对海量信息实时处理的功能,将设备上传数据的间隔由分钟级缩短秒级,并建立事件数据库。

据悉,三一重工目前拥有 30 多万台大型的工程机械设备的保有量,每一个设备都有大量的传感器参数上报到三一重工自主研发的 Witsight 工业大数据云平台上,每天存储处理的数据容量为 200G,一年 70T 左右的数据量。三一重工华兴工业大数据云平台主要用于管理挖掘机、桩机为主,以公司的自身需求为主,但在设计之初就考虑到了平台的通用性,在设备接入层,除了三一重工设备专有协议的开发之外,同时也支持 MQTT 等国际通用协议;在数据存储与数据建模层也考虑到了对接不同厂商、不同类型的多元化设备。

张翔从技术和架构两个层面讲解了 Witsight 工业大数据云平台是如何工作的。

  1. 技术层面:



Witsight 采用 DCOS 技术方案,通过大数据平台整合 Spark、Kafka、Cassandra、Mysql、Redis、Netty、Rabbitmq 等关键技术和应用,实现对于工程机械设备数据的采集、分析、存储的需求。

**Spark:**:提供系统高效的并行计算能力,能够准实时地处理 100 万台海量设备上传的工况数据。 

**Cassandra:** 提供海量数据的快速高效存储及查询,保障设备工况数据及时写入,数据延时小于 10s。 

**Kafka:** 一种高吞吐量的分布式发布订阅消息系统,它可以处理挖机所有动作的流数据。 

**Mysql:** 使用主从集群模式,提供设备基本数据的存储和报表数据的存储。

  1. 平台架构层面



如上图所示,华兴 EVIcloud 整体架构分为计算平台、业务平台与可视化三个部分。其中计算平台主要用来实现数据的采集、传输、存储、处理与分析等功能。业务平台又分为通用业务与产品业务,通用业务用来实现设备管理、运维人员管理、安全管理以及运行监控,而产品业务则会根据不同产品的属性和功能进行合理的建模。可视化部分则用于实现数据、矢量组态与报表的多终端显示、分布式控制以及图形自由编排与联通。 

WitSight 的优势在于本土化

在工业大数据云平台领域,GE(Predix)、SIEMENS(MindSphere)开创了大数据平台的先河,在行业内占据绝对领导地位。与之相比,三一重工的 WitSight 核心能力和优势体现在哪里呢?

对此,张翔引用了百度和谷歌的故事、阿里与 eBay 的故事。他说道:“国外的企业和产品进入国内,往往第一个要考虑的是本土化的问题。 三一重工是中国大地上孕育出来的世界级企业, 三一重工华兴工业大数据云平台也是中国土生土长的工业大数据云平台。人家说背靠大树好乘凉,三一重工华兴工业大数据云平台以管理三一设备开始,从 2010 开始开发并投入使用,工业大数据云平台经过了这么多年的打磨与经验积累,现在已经可以处理 30 万在线设备,处理速度提升到了秒级。” 

开发过程并非一帆风顺

万事开头难,尤其是搭建这样大规模的工业大数据云平台。张翔告诉 AI 前线,三一重工团队在整个构建工业大数据云平台的过程遇到了不少的难题,比如在平台运行的过程中,分布在全球各地的机器与装备的传感器需要实时地将数据传送至 WitSight 数据分析平台上,然后经过平台的传输、处理和分析最终将数据通过可视化的方式灵活地呈现给用户。整个数据传输和处理的过程虽然看似简单,实现它们却需要精心地设计整体架构,组合多种软件和工具并且要经过反复的测试验证和不断的迭代。WitSight 平台中的数据传输、数据存储以及数据处理等平台需要集成 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件。此外,平台也需要集成 devops 等工具,从而实现业务的敏捷开发与交付。在开发 WitSight 平台以及智慧风场、EVIcloud 应用的过程中,华兴曾经设想并尝试过多种解决方案,利用传统的虚拟机交付或者申请公有云 IaaS 资源交付,但这会面临着下述的一些问题: 

  1.  部署配置复杂,每种软件都需要相关专业的人员进行部署和配置,即使采用第三方工具,交付周期也需要数天甚至数周。
  2. 每个虚拟机只能用于特定的服务,同一个虚拟机不能同时运行多种应用,资源的整体利用率得不到提高。 
  3. 遇到业务高峰时,需要申请新的 IaaS 资源,然后在虚拟机上继续部署软件,整个流程繁琐,效率低下,无法做到全自动化地完成资源的弹性伸缩。 
  4. Kafka、Cassandra、Spark、HDFS、Mongodb 等软件架构相对复杂,在生产环境中往往需新招聘相关大量运维技能的人员或者花费大量的时间培训内部员工。这种方式大大提升了软件的使用门槛、复杂度以及成本。
  5. 无论是采用开源软件还是使用企业版软件,当 Kafka、Cassandra、Spark、HDFS、Mongodb 等软件在使用中遇到了难题或者生产过程中出现故障时,研发人员与运维人员需要自行查询资料解决问题或者单独联系各个软件供应商解决问题,管理分散,无法快速突破技术难题、保证故障在第一时间内得到响应。
  6. 网络与数据的安全无法得到有效的保证,无法实现网络保护以及平台数据的备份与恢复的集中管理。 

面对这些实际的问题,三一重工上海华兴更需要的是一个以应用为中心,在同一套基础设施上能够支撑不同类型业务负载的新一代云原生应用平台。经过反复的思考、测试与验证,三一重工决定彩用 DC/OS(Mesos) 作为底层平台来支撑 WitSight 上的各种应用、工具和业务。这样,上述难题就得以解决了。

未来 5 年将是工业大数云平台发展最好的时机

在万物互联时代,的出现是顺应时代发展要求的产物,在推动工业发展上它会扮演什么角色呢?另一方面,在“中国制造 2025”计划目标的驱动下,包括 WitSight 在内的工业大数据云平台会为中国未来的发展做出什么贡献呢?对此,张翔有着自己的理解。



“万物互联,即指的是物联网,这几年物联网的概念遍地开花,比如穿戴设备出现、家庭智能设备的出现,都标志的物联网的发展,物联网的英文是 IOT,工业物联网的英文叫 IIOT, 工业物联网就是物联网在工业行业的应用。工业 4.0 是由德国最先提出来的,之后中国马上提出了中国自己的“中国制造 2025”,所以可以看出,工业物联网的发展不仅是产业层面的需求,同时得到了国家政策层的支持,是未来的一个发展方向。工业大数据云平台就是在这样一个天时地利人和的环境下的产物,它顺应产业与时代的发展需求,我相信未来 5 年将是工业大数云平台发展最好的时机。”

不破不立,不新不进,创新对于工业企业转型来说至关重要。对于工业大数据云平台,三一重工在公司层面有三年规划与五年规划,有一整套的商业模式与发展战略(详细内容不便透露)。但在创新之下,三一在挖掘机领域的国内销量已经多年第一,张翔认为公司未来在大工业大数据云平台领域也能引领行业的发展。

物联网是新一代信息网络技术的高度集成和综合应用,是新一轮产业革命的重要方向和世界产业格局重构的重要推动力。展望未来,工业物联网将呈现三大演进趋势:

  1. 数据处理方面: 设备联接趋于多元化,未来的设备在种类与数量上会有几何指数的增长,如果把设备消息的解析与计算放到云端,对于云端会有很大的压力,未来的发展数据的初步处理与计算会越来越边缘化,目前行业内提倡的“边缘计算”指的就是这个。
  2.  产业生态方面: 目前很多企业都在自己做工业物联网,平台方面都是孤立的,每家的平台都不一样;信息方面也是各家独享。 在未来,每一家的工业设备厂家都是每个工业物联网体系的一员,形成平台共享、信息共享,形成一个集群效应、协同发展的新生态体系。
  3. 应用关注度方面: 工业物联网不仅能够实现设备的互联,还能够通过优化产品类型、维护客户关系为企业服务。目前工业物联网的关注点都在设备资产这块,但对于优化产品类型、维护客户关系关注比较少。未来工业物联网在收集产品与客户的信息方面发挥重要作用,对于这方面信息的收集,来提升产品的满意度、吸引力,同时又能提升客户关系。

工业 AI 的现状与未来

自从阿尔法狗打败了李世石和柯洁之后,人工智能就开始走进了人们的生活,同时也越来越多的走近了工业领域。OpenAI 的机械手自动识别六面体属于 AI,机械手自动组装挖掘机也属于 AI,我们平时经常提到的机器学习也属于 AI 范畴。大家都知道,机器学习 = 数据 + 特征 + 模型。在工业物联网行业,数据不是问题,有设备就有数据,但基于数据去提取特征与建立有效的模型是工业物联网领域的难点,不同的工业领域,特征与模型可能截然不同。所以,想要 AI 在工业领域有所发展,对于工业行业领域的细分与深入研究是必不可少的。目前工业行业内普遍的 AI 水平在如下三个方面:

  1. 应用数据的可视化分析。

人工智能除了能够收集设备运行的各项数据 (如温度、转速、能耗情况、生产力状况等),并存储数据以供二次分析,对生产线进行节能优化,提前检测出设备运行是否异常,同时提供降低能耗的措施。

  1. 机器的自我诊断。

比如一条生产线突然发出故障报警,机器能够自己进行诊断,找到哪里产生了问题,原因是什么,同时还能够根据历史维护的记录或者维护标准,告诉我们如何解决故障,甚至让机器自己解决问题、自我恢复。

  1. 预测性维护。

通过人工智能技术让机器在出现问题之前就感知到或者分析出可能出现的问题。比如,挖掘机在运行一段时间后设备的部件可能出现损耗,通过分析历史的运行数据,机器可以提前知道部件损耗的时间,从而提前准备好更换的配件,并安排在最近的一次维护时更换部件。

除此之外,工业 AI 还可用于:

  1. 自动分析设备故障情况。
  2. 自动预测设备故障。
  3. 根据设定的参数,自动进行挖掘作业。
  4. 通过挖掘机上面的摄像头,进行人脸识别与挖机手的行为分析,来对挖机手进行考核、安全提示等。

但是,和所有新兴技术一样,工业 AI 在发展的早期总会面临各种困难和挑战。

“工业 AI 越来越普及的今天与未来,‘安全’是现在与未来的一大挑战,在这里‘安全’的范围比较广,比如:信息的安全、设备的安全、以及设备对于人的安全等,这是工业 AI 未来面临的最大挑战,希望在不久的将来也会出来‘工来 AI 三定律’来解决这个问题。”

采访嘉宾

张翔,三一重工研究所所长。硕士毕业于复旦大学,之前在上海贝尔工作,现在就职于三一重工。 张翔拥有 11 年电信行业兼互联网的工作经验。11 年间,他从事过所长、技术经理、项目经理、系统工程师等岗位,并且有 8 年管理经验,有着丰富的管理大型研发团队的经验;7 年从事全球项目团队的管理经验;以及 3 年大数据、工业 4.0、工业物联网经验。

感谢蔡芳芳对本文的审校。

会议推荐

人工智能能给业务带来怎样的帮助?

在视觉搜索功能的帮助下,Pinterest 的公司业务和用户体验都有所提高。 线上实验表明, 用户在 related Pins 的参与度在视觉搜索技术的帮助下有了 5 -10% 的提高。LinkedIn 的推荐系统也极大帮助了用户的留存及增长。

QCon 上海 2018 邀请到硅谷有代表性互联网公司的技术专家,分享人工智能领域的前沿研发经验。大会 8 折报名中,立减 1360 元。有任何问题欢迎咨询票务经理 Hanna,电话:010-84782011,微信:qcon-0410。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-08-19 18:182249
用户头像

发布了 42 篇内容, 共 13.6 次阅读, 收获喜欢 53 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

硬核!阿里自爆虐心万字面试手册,Github上获赞89.7K

996小迁

spring 架构 面试 程序人生 JVM

区块链时代,企业如何构筑竞争力的护城河?

CECBC

区块链

5G专网是个大西瓜(二):碰撞之谜

脑极体

思维导图整理Java并发基础

Java 架构 并发

机器学习笔记之:Addition and Scalar Multiplication

Nydia

Nacos源码编译

Fox

nacos

💯 关于 TCP 三次握手和四次挥手,满分回答在此

飞天小牛肉

面试 后端 计算机网络 TCP/IP 2月春节不断更

通过扫码提交信息

IT蜗壳-Tango

七日更 2月春节不断更

28天瞎写的第二百三十七天:抢了HR 饭碗了吗?

树上

HR 28天写作

常用网址

现实中游走

信息茧房

lidaobing

28天写作 信息茧房

冰河去腾讯了?

冰河

程序员 程序人生 冰河 冰河技术

游戏夜读 | 游戏中的确定性

game1night

Mac打开wps后风扇转的快机身发热

现实中游走

Mac cpu 100% wps 机身发热

100+标杆案例和1个减法:华为“懂行100”给2021带来了什么?

脑极体

黑客练手入门| pwnable.kr—幼儿瓶—01:fd

BigYoung

黑客 安全 安全漏洞 28天写作 2月春节不断更

为什么要持续学习

不在调上

管理笔记[6]:任人唯贤、赏罚分明、任人所长

L3C老司机

每个人都应该理解这三个基本的 MLOps 概念

李忠良

28天写作

SpringIOC的注解开发

小马哥

Java spring 七日更

Mybatis【18】-- Mybatis自关联多对一查询方式

秦怀杂货店

mybatis

链上公开透明 链下迷雾重重 区块天眼能否拨开行业疑云

CECBC

区块链

原子性操作类的使用

武哥聊编程

Java 多线程 原子性 28天写作

【Linux系统】常驻进程应用实践

程序员架构进阶

Linux 守护进程 七日更 28天写作 2月春节不断更

第四周-第一课

Geek_娴子

深入理解nodejs的HTTP处理流程

程序那些事

node.js HTTP 异步编程 程序那些事

日记 2021年2月3日(周三)

Changing Lin

个人感悟 2月春节不断更

图解 | 原来这就是线程池

架构 线程池

Seata1.4.0源码编译

Fox

seata

分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势

五分钟学大数据

大数据 2月春节不断更

Redis缓存热点引发的思考

Java架构师迁哥

工业AI时代,大数据云平台未来5年迎最佳发展时机_大数据_陈利鑫_InfoQ精选文章