写点什么

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)

  • 2019-10-09
  • 本文字数:3091 字

    阅读完需:约 10 分钟

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)

11 月 23 日,由七牛云主办的主题为「AI 产业技术的渗透与融合」的 NIUDAY 小牛汇共享日在北京举行。会上,七牛云技术总监陈超为大家带来了题为《数据智能时代的智慧工厂实践》的内容分享。


下面简单介绍 Pandora 平台的产品模块:



收集界面可以完全可视化的收集,几乎可以看到所有的数据源。



日志搜索。用过 ES 的都可以发现,我们这个其实是比 ES 功能更强大,可以帮你原生的做出很多报表来,并且可以按照时间、字段进行关联分析等等。我们也支持上下文的检索,检索完一个日志以后想看看上面发生了什么,下面发生了什么都是原生支持的。这个现在叫做搜索即报表,搜索以后直接通过报表的形式呈现,非常方便。



数据立方是为了弥补之前搜索场景的一些弊端。当我的数据表特别宽的时候,效率基本上就没法提升,所以数据立方本质上解决的是一个多维度的实时的分析。七牛云现在内部所有的类似于 Nginx 的分析全部都迁移到这上面来了,之前查询是 15 秒左右,现在我们查询是 200 毫秒左右,特别快。


数据立方目前应用较多的场景是广告点击,然后就是流量实时监控和安全事件的分析。我们每天进入数据立方分析的数据大概在 50 个 T 左右,50 个 T 进去分析完,落地基本只有 50 个 G 或者 100 个 G 左右,所以是一个低成本、高效率的分析引擎。



右边的图是我们一个线上的图,可以看到实时响应的时间是 69 毫秒,过去一天平均响应时间是 67 毫秒,过去七天的时间甚至一个月的时间,实际上拉长时间宽度,监控报表的响应时间也不会变长。



应用服务器监控。有一些应用市场在里面完全不需要配置,把我们的东西装好这些内容就自动有了。



全链路监控也是在应用市场里面的,现在应用市场里面有三块内容:服务器监控、全链路监控、CDN 分析。我们全链路的监控可以看出服务拓扑、定位性能瓶颈等等,看到访问时间落到什么时间段内,有时候一到高峰期,可能时间就开始变慢了。全链路监控能给你从端到端的分析,从前端开始发送数据,到下面每一次调用都可以很强大的把具体的内容显示出来。七牛云内部这一块基本上全部覆盖了,也就是说大家每次访问七牛云存储的图片,就有这个东西在背后做支撑。



报表在这里不细讲,我们在这方面做的目前已经相当不错,客户反映也非常好。



这个是帮杭州一家公司做的安全的监控大屏,也是比较酷的一个屏幕,让他们放在运维的大屏幕上。


接下来重点介绍机器学习。


机器学习会有一个特点,我们是做异常检测的,也就是现在比较流行的 time series 分析。做这个事情如果还要暴露算法的话就对用户太残忍了,所以我们花了特别大的功夫在背后大概做了十几种算法,然后做自动的融合,算法对用户完全屏蔽。用户只要选择一下他的数据源是什么,就可以帮他做实时分析和预测。



在平台上要如何使用这个东西?首先,你要对这个数据源做异常检测,它就会出来一个图,告诉你我要预测;我要预测多久,说预测一天,右边紫色的部分就会把预测时间给打出来。所有异常点会在下面展示出来,七牛云现在整个容量规划包括一些高峰期的预测全跑在上面,效果是非常好的。



其实这个事情真正的引发了我们跟工厂合作的一个契机,今天展示出来的是一个老版本,我们有一个新版本还没有发布,是一个完全更自动化的一个 AI 产品。将日志往里面打,打完以后机器会自动判断是否有异常情况,不需要定义异常,机器算法就会帮你发现异常。



这是集成智能告警系统,可以看到整个系统完整性还是比较好的。



这是平台目前的一些数据,300 多个企业,每天 400T 数据,总数据量 60 个 P,吞吐量 1000 万条/秒。

智慧工厂实践案例

智慧工厂的实践,我们目前跟几个单位有深度合作,而目跟我们合作最紧密的是晶盛机电



晶盛机电目前是光伏产业链装备最齐全、技术最强的装备龙头企业,相继开发出具有完全自主知识产权的全自动单晶炉、多晶铸锭炉、区熔硅单晶炉、蓝宝石炉,成功开发并销售多种光伏智能化装备。而我们目前的合作,主要是针对单晶炉。



上图可以看到,在单晶硅的生产过程当中,左边是他们的炉子,有很多传感器装在这个上面,之前是每 5 分钟或者 15 分钟甚至一小时才会采集一个点出来,因为数据实在太多,很难高效紧凑的存下来并做进一步分析, 但是这些数据里面的信息又非常重要。所以我们需要有个更加强大的方式,来做采集、传输、存储、分析及挖掘。



我们做的事情就在这张图上可以整体显示出来,从端到端一直跟他们一起合作。在晶盛环境里,他们做了各厂商数据采集和指标的抽取,抽取之后我们的业务专家会帮他们来初步的提取指标参数跟公式,因为一开始不知道什么好坏,很难客观评价。像我们这样的互联网公司要做智慧工厂,不了解他们的业务,只靠所谓的 AI 算法,是根本不可能的。所以,我认为「有多少人工就有多少智能」这句话有时候是对的,人工智能这个东西应该是一半一半来看,在前期真的是有多少人工就有多少智能,来跟业务专家一起来观察。


到一定阶段之后,会由量变产生质变。进入七牛云平台,把指标公式库、业务逻辑、元数据、数据处理等全部放进去,基于数据存储引擎去帮他做一个完整的分析,目前我们主要用到了若干个个传统的机器学习方法和两个深度学习的方法。但是在又遇到一个挑战,包括前面讲的异常检测一样,在这个公司里面做深度学习是不能用 GPU 的,他现场没有 GPU,所以只能做 CPU,我们对 CPU 算法做了很多优化。



这是我们做的东西,我觉得这个事情有一定的普试性。智能检测部分,我们做模型训练、异常检测、趋势分析,数据分析那边做了这个单晶炉的体检系统,体检系统指得是我这个炉子出问题需要要检修了,就不往里面倒原料来进行单晶提取了。如果原料进入出问题的炉子就要废掉,光这些原料的钱就要好几十万。目前的阶段,我们花的最大的力气是在智能检测这一端,之前是在数据分析和可视化。



这个是我们给他们看的一个界面,可以看到要跟工艺专家一起来搞出一些评价指标等,再把这个评价指标通过机器学习的方式来进行分解。如果有一个东西不好了,要判断它是什么原因引起的,然后再判断这个原因又是因为什么原因引起的,层层往下。这个过程像极了传统运维根因分析的需求,我们要找到造成这个问题的根本原因,用这个理念来帮他做这个事。



可视化就是,一开机就可以体检炉子是几分,如果是 60 分以下这个炉子今天就不要生产了。



智能检测就是利用里面的一些数据进行检测,但现在我们觉得,最有价值的地方不是在于明显的异常点,而是在于一些不是那么突出的异常点,但是它的趋势又特别突出,比如突升突降,这种以前是发现不了的。以前的做法就像运维一样,都是低于这个数或者高于这个数就是异常,但是有些时候,趋势也可以成为一种异常。



我们把离线训练跟实时训练分开来做,离线训练我们做了一些离线数据集。之前单晶炉的历史数据进行一系列的无监督算法,来进行一个打标的过程。打标之后会有一个投票策略,保留正样本和负样本,丢弃中间样本。


然后从无监督算法出来以后,带有一个 label 的一套数据集,这样真正进入我们给他使用的数据集里面,就是深度学习算法。当数据进来以后会跟下面的实时数据直接做融合,相当于最终给用户看的数据全部是由深度学习的算法来做的。传统的机器学习在这边主要是用来做打标的过程。我们其实做了一些尝试,就是在不改变逻辑的情况下,移植到另外一个工厂的设备当中发现它完全可用,但是只发现有结果,没有办法从业务上以及从他们真正的场景上解释,因为不懂业务,所以做这些事情需要真正懂业务的人 + 技术专家一起做。


目前我们双方仍然还在一起努力完善这套系统,我相信在不久的将来,这套系统一定会大放异彩。


以上是我的分享内容,谢谢大家!


本文转载自公众号七牛云(ID:qiniutek)。


原文链接:


https://mp.weixin.qq.com/s/HPwsc7NiuR6zmAYi4xpoIw


2019-10-09 18:22999

评论 1 条评论

发布
用户头像
陈超后来创立了杭州超材公司,还是很厉害的。不过嘛,人无完人,超材也有需要提升的地方--超材的子公司拖欠我2024年工资未付。
2025-05-17 23:48 · 浙江
回复
没有更多了
发现更多内容

NFS服务器原理、搭建、配置,Python面试题选择题

程序媛可鸥

Python 程序员 面试

Python 中的八个“无代码”特性,这原因我服了

程序媛可鸥

Python 程序员 面试

架构实战营模块六作业

刘洋

#架构实战营 「架构实战营」

Python文字转换语音,让你的文字会「说话,Python面试项目包装

程序媛可鸥

Python 程序员 面试

Python3通过函数名调用函数的几种场景实现,贼厉害

程序媛可鸥

Python 程序员 面试

python中strip(),lstrip(),rstrip()函数的使用讲解,Python开发知识点

程序媛可鸥

Python 程序员 面试

Python实现Singleton模式的几种方式,正在准备面试

程序媛可鸥

Python 程序员 面试

Python数据类型——字典,一次哔哩哔哩面试经历

程序媛可鸥

Python 程序员 面试

Girlfriend含苞待笑——一次性处理上百份文档,BAT这种大厂履历意味着什么

程序媛可鸥

Python 程序员 面试

百度一线工程师浅谈日新月异的云原生

百度Geek说

云原生 后端

Python 中的文本分类,2021Python面试真题精选干货整理

程序媛可鸥

Python 程序员 面试

Python 蜻蜓fm有声书批量下载 支持账号登录 原创源码,斩获offer

程序媛可鸥

Python 程序员 面试

Python 中进程和线程的用法基本一样,跪了

程序媛可鸥

Python 程序员 面试

Python 金融量化 随机指标交易策略,闭关60天学懂NDK+Flutter

程序媛可鸥

Python 程序员 面试

Python爬取51job招聘信息,全网独家首发

程序媛可鸥

Python 程序员 面试

15 本你必须阅读的 PyTorch 书籍,【2021Python最新学习路线

程序媛可鸥

Python 程序员 面试

Linux grep命令详解,手把手教你写

程序媛可鸥

Python 程序员 面试

Newton迭代法开方(Python),最详细的docker中安装并配置redis

程序媛可鸥

Python 程序员 面试

想了解 spring-cloud-kubernetes,那就先来实战一把官方demo

华为云开发者联盟

spring Kubernetes Spring Cloud Spring Boot

18年程序员生涯,读了200多本编程书,挑出一些精华分享给大家

程序媛可鸥

Python 程序员 面试

Matlab初级学习者,15个经典面试问题及回答思路

程序媛可鸥

Python 程序员 面试

复盘归因,提高交付质量的秘诀

老张

软件测试 交付质量 复盘归因

python中函数作用域,高级Python开发面试解答之线程篇

程序媛可鸥

Python 程序员 面试

详解《send》源码中NodeJs静态文件托管服务实现原理

CRMEB

OBV指标交易策略(累积能量潮与移动能量潮,成交量多空比率净额及相关应用原则)

程序媛可鸥

Python 程序员 面试

Python数据分析 之 制作酷炫的可视化大屏,特简单,我把所有Python框架整理成了PDF

程序媛可鸥

Python 程序员 面试

Python数据结构与算法(2,阿里一线架构师技术图谱

程序媛可鸥

程序员 面试

解密GaussDB(for Influx)时序洞察

华为云开发者联盟

Influxdb 时序数据库 GaussDB(for Influx) 时序数据 时序洞察

python DataFrame数据分组统计groupby()函数,值得推荐

程序媛可鸥

Python 程序员 面试

Python 下载的9种方法,如何才能通过一线互联网公司面试

程序媛可鸥

Python 程序员 面试

Python两个内置函数locals 和globals,Python项目开发如何设计整体架构

程序媛可鸥

Python 程序员 面试

干货分享:智慧工厂时代下大数据 + 智能的深度实践(下)_AICon_陈超_InfoQ精选文章