抖音技术能力大揭密!钜惠大礼、深度体验,尽在火山引擎增长沙龙,就等你来! 立即报名>> 了解详情
写点什么

数据中台元年,企业数字化转型面临的三大挑战

2019 年 8 月 16 日

数据中台元年,企业数字化转型面临的三大挑战

过去三年,在帮助企业构建数据中台的实践中,我们提炼了企业数字化转型最主要的三大挑战(业务挑战、技术挑战、组织挑战),或者说企业必然会面临的三大困境,看看数据中台如何为企业发挥价值。


随着企业信息化程度越来越高,企业掌握的数据量从原来的 TB 级发展到 PB 级,再到 EB 级甚至往 ZB 级别发展。数据形式也在从原来的结构化数据为主转变为以日志、视频、图片、语音等非结构化数据为主。


然而,数据存储和计算、数据组织的运行都是有成本的。当数据消耗成本较小时,企业通过设立独立预算的大数据项目即可应对。但是随着越来越多的数据产生且被应用,数据成本急剧增加,发展数据业务就必须被提升到企业数字化转型的高度,之前的应对策略便不足以应对。毋庸置疑,接下来,数据部门将作为一个业务部门长期存在,这就需要数据部门需要有尽量清晰的业务边界,有可控的投入产出。


2013 年,当数据应用不再以 BI(看数据)为主,而是为核心业务(数据支撑广告投放更精准)服务时,存储优化和计算优化,以及整体有序的大数据业务规划便成为了当务之急。


过去三年,在帮助企业构建数据中台的实践中,我们提炼了企业数字化转型最主要的三大挑战(业务挑战、技术挑战、组织挑战),或者说企业必然会面临的三大困境,看看数据中台如何为企业发挥价值。


业务挑战:如何以大数据赋能,反哺业务精耕?

越是成功的企业,业务发展的痛点越难以单点解决,需要整体思考、科学决策、集体行动,在业务的创新中解决这些痛点。


比如,如何做好会员精细化运营?如何为门店挑选合适的商品且控制好库存?如何动态打折以至不损伤毛利等等,是摆在企业前面的一个个难题,直接影响到企业的规模扩展或者利润提升,也是企业迫切需要解决的问题。


这就需要构建数据中台,通过大数据赋能业务。


相比传统数据业务,大数据业务的优势在于,通过整体规划智能化的数据应用,来推动业务创新。这就是企业数字化转型的业务内涵。这些数据智能应用需要将业务经验和解决方法论、全域的数据模型,与算法模型相结合,我们称之为“业务智能模型”,它的价值在于“降本增效”。


在我们过去三年的数据中台实践中,我们发现这些业务智能模型遍布在整个零售产业上下游。比如通过全方位的数据反馈并指导买手做好选品;又如通过商品的聚类,发现某类特征的商品,可以优化打折速度和幅度,以此提高整体的折扣率从而增加毛利等。再比如,通过门店和商品数据,通过最优算法,解决“什么样的店铺类型应该铺什么商品”,以提升门店的顾客进店转化率,从而提升效益。


业务智能模型需要数据和业务系统深度结合,在运营工作中直接产生效果,让业务能够自动化、高效地运转起来。


技术挑战:如何高效的数据治理,远离数据“黑洞“?

要做好有价值的业务智能模型,离不开高质量、高可用的、全域的数据中台,数据治理就显得非常重要。“数据治理”是企业数字化转型中典型的大数据技术问题。


数据治理,解决的是“业务越来越复杂而数据现状的脏乱差”带来的挑战。如何合理规划数据结构?如何规范定义数据?如何有效管理数据资产?如何安全分发使用数据?这都需要一套完善的数据治理体系,驱动企业数据化运营转型。


数据治理是基础,也制约了企业的数据智能化方向的发展,难以做到数据创新。从理念上来看,“治”不应只在事后,更应在事前,“理”考验的是业务与技术能力的结合。从实际内容上来看,数据治理是一套方法体系+工具集,旨在帮助企业合理的架构数据、规范的定义与加工数据、清晰的管理数据、安全的应用数据,促使数据从成本中心变成价值中心,驱动企业数字化转型。


我们总结了“数据治理的七个要素”如下:



1、数据的标准定义:数据维度及指标需要清晰的、统一的、标准的定义,如“最近一天门店在线上渠道的下单金额”。



2、数据模型的标准设计:按业务领域拆解业务过程,根据业务过程设计数据模型,好的模型标准是高内聚低耦合,能支撑未来扩展。


3、数据的规范开发与测试:在一定的编码规则下开发,确保代码质量的稳定性。


4、元数据的合理管理:数据的存储是需要成本的,需要合理的生命周期管理。


5、数据质量的保障:数据的可用性、可信度,均需数据质量保障,数据质量从上游采集、中间的数据加工,下游的数据服务都需要一套质量检测工具来保障准确性、完整性。


6、数据的安全管控:数据是企业的核心资产,数据安全上升为企业安全。数据安全包含数据的分级、敏感数据脱敏、分行列控制、高危访问实时告警、事后的安全审计等。



7、数据的合规使用:企业成立数据安全委员会,为数据的合规使用制定规范,必须在合规范围内安全使用数据。


组织挑战:如何深挖数据红利,成为业务创新“能手“?

从解决业务挑战和技术挑战出发,企业必须把数字化转型定义为战略问题,从而推动“数据中台”的落地,这也给企业带来了组织上的挑战。


一般来讲,传统的数仓解决方式有两大问题:一方面从业务系统直接计算数据,非解耦架构对业务系统影响极大。一方面基于 DB 构建的数据仓库,计算及查询效率难以满足业务数据膨胀的大趋势要求。解决这些问题,已经不是藏在“IT 部门”的数据小分队这一组织形式所能够解决的。


2018 年 7 月,阿里云总结了过去的成功经验,在业界大力推出“数据中台”解决方案,很好地解决了这些问题。奇点云提出的数据中台架构与设计,其出发点是支撑复杂的、多系统的、数量巨大的、多应用场景的业务形态。在组织层面理顺以下部门或团队关系,来解决企业在组织落地战略上的困惑:


1.与传统 IT 业务之间的关系:业务和计算分离,业务和数据分离


大数据业务应与业务系统解耦,采用 T+1 离线计算方法产出结果数据,不直接在业务系统上进行数据计算,实现了业务和计算的分离、业务和数据的分离。


大数据部门的工作起点是满足多种计算场景的需求。支持大数据计算,结合了多种计算引擎,针对不同的场景使用不同的计算引擎,如离线计算引擎、实时计算引擎、多维分析引擎、即席查询引擎、实时搜索引擎。


2.与业务部门的关系:站在企业视角打通数据,支撑业务部门用数据


支持各种异构数据源打通,提供了一套基于 reader 和 writer 的抽象化数据抽取插件,除了提供系统自带的插件外,还支持自定义实现 reader 和 writer 插件,通过公共的管道,实现结构化和非结构化数据的互相传输,统一技术框架。


支持业务部门的高并发多场景的实时查询,数据中台集成了基于分布式的 KV 查询框架,可以支持海量级别的查询请求,并且响应时间可以控制在毫秒级别。


支持多场景的数据服务,灵活快速支撑业务需求,向导和自定义双模式快速生成 API,实时监控 API 调用情况。


面向业务部门,为业务部门的数据分析、开发提供培训和技术支持。


3.与合作伙伴的关系:找到数据部门的核心能力


应该深入业务,影响业务效率。数据模型融合离散的业务数据,**可借助数据中台快速构建数据模型,建立全方位的数据视角,消灭信息孤岛和数据差异,灵活支撑业务的变动。


不应该在大数据平台建设、在很难培养的团队能力上下功夫(比如算法能力),尽量借用外脑。


某服饰 K 案例:


客户背景:想要通过数据智能化应用,提升管理效率,从集团 CEO 到各部门经理到一线店长,经营效率需提升,运营过程需要数据支撑,一方面是数据产出速度,一方面是缓冲的精准度。以及优化当前的人员排班,避免客流不大时过于饱和人效较低,高峰期时人员不够导致订单损失。


数据中台解决方案:构建集团/销售总经理/门店店长三层驾驶舱,拉通数据中台的建设,顺势统一指标标准、数据采集标准、建数据模型标准,驱动企业的数据上一个台阶,为后续的创新打下基础。


统一管理:企业管理行为落地 KPI 体系,KPI 数据反映管理与经营的效率;


统一视角:一站式数据服务,从集团总裁,到分公司总经理,甚至到门店店长,都在一个系统中透视 KPI、逐层从上到下穿透,直至发现问题。


统一口径:所有指标及维度必须标准化,包括命名规范、口径统一、数据模型统一,从而为指标解读有据可依。


智能排班:通过计算每人的绩效,结合到门店计算人效,聚类区分几类人效人群,得出中等人效即可服务号一般门店。同时预测门店未来的订单量,拟合中等人效水平,计算未来一周内门店各时间段需要的人力情况。结合门店和人员的区域化情况,从而实现了智能排班系统。



实施效果:上线后第一个月开始,集团高管月会,开始使用管理驾驶舱梳理盘点诊断业务;数据中台支撑的仓库单据从原来的 10 分钟降低到 5 秒,缓冲补货时间从 30 分钟降低到 5 分钟以下;上线 3 个月,离线的 Excel 模版报表,从 500 个降低到 250 以下;基于数据中台创新了智能排班系统、店铺前台商品推荐系统;技术人员从传统的 Oracle 存储过程过度到大数据平台,成长了数据模型研发与算法能力。智能排班上线,整体人员下降了 10%(自然淘汰人效最低的人员),从而为公司每年带来大几千万的利润。


某母婴 M 案例:


客户背景:在企业运营效率低下,无标准数据体系及系统支持的情况下,企业所运营的 APP 千人一面,所有运营活动需要手工调整,几乎没有数据化运营。基本靠经验,影响用户体验,老客户复购率低。


数据中台解决方案:该项目分两期实施,一期规范采集,打通日志、交易、售后等数据,构建统一数据中台,建立标准指标体系,构建业务分析 BI 系统及一系列运营报表,支撑运营日常数据工作效率提升,快速洞察业务,驱动高效运营决策;二期构建会员、商品、店铺标签体系,增加实时日志采集,在购物主链路四个环节(首页-搜索-购物车-支付)做千人千面推荐引擎,提升用户发现感兴趣和可能需要的商品,提升新客户的转化率与老会员的复购率。


实施效果:上线了平台运营中心,支撑了所有运营日常数据工作;购物主链路个性化推荐,提升了新客户 50%的转化率,提升了老客户 80%的复购率;


我们认为,在 AI 驱动下的数据中台大有可为。所有的数据一定是基于数据中台形成一个业务闭环,把数据赋能给新零售前端的应用,可以帮企业真真正正实现自身的数字化转型。


2019 年 8 月 16 日 19:106589

评论

发布
暂无评论
发现更多内容

日记 2021年2月11日(周四)

Changing Lin

2月春节不断更

业务中台建设 - C端用户中心

孝鹏

中台架构 用户

过节 劝你少喝酒(一)

三号无名指

【STM32】1.44寸TFT液晶屏显示字符、汉字和图片

AXYZdong

硬件 stm32 2月春节不断更

6. Python 元组,不可变的列表,滚雪球学 Python

梦想橡皮擦

Python 2月春节不断更 python入门

【STM32】stm32f407 + DS18B20 碰出不一样的火花

AXYZdong

硬件 stm32 2月春节不断更

7. ✎会查新华字典不?会。Python字典已经掌握了

梦想橡皮擦

Python 爬虫 2月春节不断更 python入门

Java反射--2021面试题系列教程(附答案解析)--大白话解读--JavaPub版本

JavaPub

Java 面试题 反射 java反射 javapub

编写优雅Javascript代码的最佳实践

devpoint

js 纯函数

香烟缭绕的岁末

ITCamel

机器学习·笔记之:inverse and transpose

Nydia

鼠年最后一天

IT蜗壳-Tango

七日更 2月春节不断更

前端冲刺必备指南-HTTP/HTTPS/HTTP2/DNS/TCP/经典题

魔王哪吒

学习 程序员 面试 前端 2月春节不断更

从文字中找回年味儿

熊斌

2月春节不断更

程序员成长第七篇:面试中需要注意的事项

石云升

面试 招聘 2月春节不断更

香,聊聊TiDB的分布式事务模型

程序员jinjunzhu

分布式数据库 TiDB Percolator

产品经理训练营第四次作业

庞玉坤

倒排索引 Inverted Indexes

escray

elastic 七日更 死磕Elasticsearch 60天通过Elastic认证考试 2月春节不断更

产品经理训练营-第四周作业

羽室

给自己的新年指南

boshi

七日更 新年

牛年到 春节快乐

小马哥

2021年展望

一个人的春节,也要过得开心

程序员架构进阶

个人感悟 七日更 2月春节不断更

机器学习·笔记之:

Nydia

前端冲刺必备指南-执行上下文/作用域链/闭包/一等公民

魔王哪吒

面试 前端 编程语言 2月春节不断更 二月春节不断更

LeetCode题解:297. 二叉树的序列化与反序列化,BFS,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

Electron 多进程方案

将儒

Electron 多进程

CNCF 2021年展望:外围有亮点,核心还有硬仗

杨明越

【LeetCode】数据流中的第 K 大元素Java题解

HQ数字卡

算法 LeetCode 2月春节不断更

程序员成长第六篇:如何选择公司?

石云升

职业发展 2月春节不断更 选择公司

产品经理训练营 Week4 作业(待完善)

Mai

产品经理训练营第四周作业

产品经理训练营

Study Go: From Zero to Hero

Study Go: From Zero to Hero

数据中台元年,企业数字化转型面临的三大挑战-InfoQ