在 Amazon SageMaker Service 中使用 R 绘制统计过程控制图(SPC)实现流程稳定性预警

2020 年 9 月 24 日

在 Amazon SageMaker Service 中使用 R 绘制统计过程控制图(SPC)实现流程稳定性预警

在实际的运营场景中,我们可以通过统计过程控制图(SPC:Statistical Process Control Chart)监控运营过程的稳定性,对过程存在的异常因素进行预警,以实现故障减少,用户体验提升和运营成本降低的目的。本文将介绍如何在Amazon SageMaker Service 中,通过R 语言来绘制统计过程控制图,从而可视化监控运营过程数据。

什么是统计过程控制图?

统计过程控制图是应用统计技术对过程中的各个阶段进行评估和监控,用来检测过程是否处于可控状态,具有区分正常波动和异常波动的功能图表。如下图所示,在UCL(控制上限Upper Control Limit)和LCL (控制下限Lower Control Limit) 范围之外的波动属于异常波动,而范围之内的波动则属于正常波动。

基于不同的数据类型的控制图分类

使用R 在AWS SageMaker Service 中绘制统计过程控制图

样例数据及代码下载

Amazon SageMaker 笔记本实例使用预装的 R 内核支持 R。

Amazon SageMaker 的 R 用户指南

  • 创建笔记本实例,然后单击 Open Jupyter。

  • 从可用的环境列表中创建一个具有 R 内核的新笔记本。

  • 从 S3 中导入数据

R 内核具有 reticulate 库,提供 R 到 Amazon SageMaker Python SDK 的接口。reticulate 程序包在 R 和 Python 对象之间转换。

library(reticulate)

py_install('pandas')

py_install('fsspec')

py_install('s3fs')

py_install('xlrd')

pandas <- import('pandas')

data_location <- 's3://sagemaker-xxx/ControlChart/01_I_MR.xlsx'

data<-pandas$read_excel(data_location)

head(data)

data_location_2 <- 's3://sagemaker-xxx/ControlChart/02_U_P_Chart.xlsx'

data2<-pandas$read_excel(data_location_2)

head(data2)

  • 场景一: 运营经理想要了解包装流程的周期时间以及流程的稳定性,从而对包装流程进行效率的提升以及稳定性的优化。

数据源:01_I_MR

数据描述:Cycletime 每件商品的包装周期时间

数据类型:连续型, 数据未分组

图表类型:I-MR,Individual Chart

install.packages('SixSigma',dependencies=TRUE)

library(SixSigma)

require(qcc)

Cycletime = data$Cycletime

Cycletime.xbar.one <- qcc(Cycletime,type='xbar.one')

如图所示,平均包装时间为 49.34s,存在两个异常波动,需进行排查采取措施保证流程节拍的稳定性。

  • 场景二: 供应商运输的货物偶尔会存在一些问题,例如:未扫码,地址发送错误等等,只要货物存在一种问题,则视为存在缺陷。运营经理希望通过 SPC 来了解当前供应商提供的货品质量情况,并予以控制,以提高货品质量。

数据源:02_U_P_Chart

数据描述:SampleSize 抽样数量 ; Defects_No 缺陷品数量

数据类型:属性数据,单位缺陷

图表类型:U chart

defectno<-data2$Defects_No

samplesize<-data2$SampleSize

with(data2,

plot(qcc(defectno,type='u',samplesize))

)

如图所示,每批货物缺陷率平均为 21.15%,无异常波动。

  • 当发现异常情况后,结合统计分析方法,如:鱼骨图,流程图,图解分析,假设检验,实验设计等逐层过滤出对异常情况造成影响最大的根本原因,对其实施干预并验证效果,从而实现流程持续优化,提升用户体验。

总结

过程控制图可以帮助我们透明化过程情况以及监控过程稳定性,从而识别异常情况,及时预警实施干预。

通过本文,您已了解在不同的运营场景下,如何使用 R 语言在 SageMaker 中绘制不同类型的过程控制图。您也可以结合其他的 AWS 解决方案,如:AWS Data Lake,AWS IoT 等对过程数据进行实时监控和预警以降低故障,提升流程效率,以实现精益化运营。

参考:

[1] Emilio L. Cano • Javier M. Moguerza Andrés Redchuk (2012). SixSigma with R Statistical Engineering for Process Improvement

[2] CRAN – Package SixSigma

https://cran.r-project.org/web/packages/SixSigma/index.html

[3] qcc:Quality Control Charts

https://cran.r-project.org/web/packages/qcc/index.html

作者介绍

崔悦

AWS 大数据顾问,负责数据驱动企业,数字化运营等方案的应用和推广。曾担任 IBM 商务智能顾问,BMW 高级数据分析师,京东推荐产品经理,在电商,零售,汽车等领域拥有多年数据挖掘经验。

本文转载自亚马逊 AWS 官方博客。

原文链接

在 Amazon SageMaker Service 中使用 R 绘制统计过程控制图(SPC)实现流程稳定性预警

2020 年 9 月 24 日 14:07 558

评论

发布
暂无评论
发现更多内容

谈谈测试

得大自在

测试的价值 测试文化 测试落地

国内上市进程或将提速!百度宣布小度科技独立融资

脑极体

Smartisan

Changing Lin

摄影

2020互联网公司中秋礼盒大比拼!(文末送福利)

Java架构师迁哥

第三周学习代码重构总结

三板斧

架构师训练营第 1 期

2020HC大会上,这群人在讨论云原生…

华为云开发者社区

华为 华为云 大会

阿里内部超流行的“SpringBoot+ 微服务指南”,理论与实战双管齐下

Geek_71bb95

Java 程序员 微服务 Spring Boot 编程语言

LeetCode题解:242. 有效的字母异位词,数组排序,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

在 InfoQ 兼职做运营

邓瑞恒Ryan

创业 用户增长 创业心态 运营 产品运营

太牛了,这份神仙级面试笔记把所有 Java 知识面试题都详解出来了

Geek_71bb95

Java 程序员 面试 编程语言

码住!Flink Contributor 速成指南

Apache Flink

flink 开源社区

一个Hibernate的事务问题

YoungZY

hibernate

基于 Flink + Hive 构建流批一体准实时数仓

Apache Flink

flink

Dromara团队发布Hmily全新架构的2.1.1版本

猫大人

分布式事务 分布式柔性事务‘’

架构师训练营第 1 期第 3 周学习总结

好吃不贵

架构师训练营第 1 期

一个草根的日常杂碎(9月29日)

刘新吾

随笔杂谈 生活记录 社会百态

经常使用的数据结构

hasWhere

FastDFS 分布式文件系统详解

哈喽沃德先生

文件系统 分布式文件存储 fastdfs 分布式文件

Nexmark: 如何设计一个流计算基准测试?

Apache Flink

flink

单例模式

高兵

烦人的Null,你可以走开点了

四猿外

Java 注解 空指针 Optional null

我一定是熬夜熬傻了,小程序后台获取用户信息居然发生了这件事

小Q

Java 小程序 学习 编程 架构

Java源码系列2——HashMap

超超不会飞

Java、

传统网络缺失货币层,比特币是否能担此大任?

blockchain

比特币 区块链 数字货币 比特币数字货币 区块俩金融

极光无限:用AI赋能安全 解决安全行业人才紧缺难题

风向标

人工智能

优秀组织的5大表现

异想的芦苇

团队管理 团队组织 组织

一个好系统自我完善自我进化的方法

boshi

产品思维 系统工程 即时反馈 生态体系

架构师训练营 1 期 - 第三周 - 设计模式

三板斧

架构师训练营第 1 期

GitHub上标星68k,基于SpringBoot+Netty分布式开源的即时通讯系统项目

Geek_71bb95

Java 程序员 编程语言 Netty 项目实战

Java源码系列3——LinkedHashMap

超超不会飞

Java、 Java web

Java源码系列4——HashMap扩容时究竟对链表和红黑树做了什么?

超超不会飞

Java Java web

13.9k Star, 3.6k Fork,技术人如何从0到1打造成功的开源软件

13.9k Star, 3.6k Fork,技术人如何从0到1打造成功的开源软件

在 Amazon SageMaker Service 中使用 R 绘制统计过程控制图(SPC)实现流程稳定性预警-InfoQ