写点什么

浙江移动数据中台的建设和应用实践

2020 年 1 月 03 日

浙江移动数据中台的建设和应用实践

最近在 TD 大数据论坛上我做了一次分享,题目是《浙江移动数据中台的建设和应用实践》,关于中台的文章现在网上很多了,文末我列了主流的数据中台的文章(包括我的),数据中台没有标准架构这种观点我也是认同的,因此,这里会结合片子重点谈谈我的实际感受,大多是超越数据中台本身的。



1、为什么做数据的挑战特别巨大?

回顾自己做数据的 15 年,大多的结果并不乐观,有句话说得蛮有道理:你要判断一个东西有没有可能继续被使用,就要看它已经被使用了多长时间。比如我可以预测凳子在一千年内继续会为人所用,因为凳子已经存在了 1000 年以上了。


这个规律套用到自己,就有点残酷,回顾 10 年前自己做的模型、平台或产品,似乎都没有什么东西能留存下来,因此,现在去做数据中台,也是战战兢兢,高大上的东西,在现实面前特别容易倒掉,更别提数据工作本身的一些限制。


比如 IT 部门是业务部门的后端,而数据部门是 IT 部门的后端,决定了数据工作者往往是后端的后端,因此要直接去创造价值是很难的,当然仅仅满足于报表取数另当别说,但相信有兴趣看我文章的人,都有着自己更高的追求。


很多数据界的老人对数据中台不屑一顾,认为纯粹是炒作,我很能理解,但如果以这个理由固步自封,那也有点不合时宜,本质不变不代表手段不需要改变,无论是在业务、技术还是数据层面。


2、数据中台从来不是一个新东西

数据中台的本质是什么,大家现在提的最多的词是业务化,服务化,后来我加了个开放化,内涵下面这页 PPT 讲的很清楚,业务化是在提醒你不要为了治理而治理,服务化在强调标准化和共享,开放化在讲酒香也怕巷子深。



你说这些是新概念吗,是阿里巴巴创造了数据中台吗?


显然不是,阿里巴巴在数据中台上的很大贡献就是创造了一个“数据中台”的名词,降低了企业的沟通成本,让企业的领导意识到数据能发挥出更多的价值。


应该来讲,数据中台涉及的东西,都是做数据做到一定程度后自然产生的结果,只要你希望让数据产生更多、更直接的价值,你就要演化出相应的功能,形成自己的数据中台。


其实早在阿里巴巴以前,无论是网易、OPPO 等等,大多数互联网公司其实早就有了自己的数据中台。


比如笔者进公司以来,凡是想提升业务支撑效率的工作全是数据中台的内容,无论是模型周期从月改为日,用可视化工具替代 PL/DEV,用标签库实现客户群复用,用自助取数替代人工取数,都是如此。


我们在数据变现的第一天,老板就跟我们讲:一定要标准化,API 化,否则数据变现是做不大的。


3、运营商建设数据中台的时代背景

通信行业天生就是一个数字化程度比较好的行业,随着传统管道业务的红利到顶,技术变革不断驱动的产业升级,AICDE 对运营商的价值创造方式、核心理念等提出了新的挑战,要求其加快数字化创新,拓展产业新的空间,如下页所示。



互联网企业对运营商业务的挤压是非常厉害的,但互联网的发展有一样对运营商是绝对有利的,那就是管道的线上内容会越来越丰富,线下的轨迹数据也在随着人民生活的提高变得更有价值,运营商这种天然的线上线下数据的全面性、多维性、连续性、完整性等特点,使得其在新的时期有了一些新的优势。




4、数据中台需要企业战略的支持

为实现数字化转型,浙江移动 5 年前就提出启动智慧运营转型的要求,即:以大数据为驱动、大 IT 平台为支撑、流程优化和管理完善为保障、改进客户体验和价值创造为目标,推进生产运营转型提升。智慧运营鼓励企业中的每一个业务单元都投入进来,倡导首创精神,实行差别化试点,“一点创新、推广全省”,智慧运营逐渐成为公司的核心竞争力之一。


没有公司的战略,就不可能有足够的业务驱动力去创造数据中台的生存空间,以前做数据创新面临的很大问题是没有需求,靠 IT 人员的自嗨刚开始的时候也许是一种创新,但马上缺乏了后续继续发展的动力。



公司的战略决定了会给你时间去持续的去做一些公司认可的长期的事情,不是那么急功近利,这对于做数据的太不容易了,智慧运营贵在坚持,不断迭代。我们的智慧运营项目连续做了 6 年,你可以看下每一年的项目名称,都是在原来基础上的反思和调整。



5、智慧运营坚持的“搭台唱戏”的理念

当初并没有数据中台这个名词,但我们早就有了“搭台唱戏”的理念,数据中台就是其中的舞台,大家的目标是一致的,如下页所示。



我们必须要打造与之适配的数据赋能框架,这就是后来的数据中台,我们的数据中台从来不是 COPY 别人的产物,而是采用“搭台唱戏”模式支撑企业智慧运营战略的需要。



6、数据中台的一种架构形式

我们定义的数据中台,主要是实现跨域数据整合并沉淀公共的数据能力,同时提供丰富的数据模型、标准化的数据服务、个性化的开发平台与工具,满足一线数据开放和智慧运营的需要,我们把数据管理的相关工具纳入了能效中台,因此在这里并没有体现。



7、数据中台总是处于演进的过程中

数据中台是企业发展到一定阶段的产物,而当企业需要在合适的时机推送合适的服务的时,实时数据中台就成了必需品,它不是技术驱动的产物,而是业务的需要,以下示例了我们数据中台的演进历程。



8、数据中台的核心始终是模型

数据中台再好的架子也需要好的内涵,这就是模型的能力,不要成了绣花枕头稻草芯,这里提两类重要模型:实时模型和挖掘模型。


一是实时模型,为高效支撑实时数据应用,实时数据中台在接入海量实时数据基础上,需要根据不同应用场景,将实时数据清洗、聚合,提炼成动态、事件、时序 3 类实时模型,分别存储在 Redis 、Kafka 、Hbase 等技术组件中供下游应用。



二是挖掘模型,社交网络、时间序列、时空轨迹、自然语言处理是运营商未来基于数据进行价值创造的核心算法,只有这些算法才能最大限度的挖掘出运营商数据中的价值,笔者前期在文章《什么才是运营商数据中台最大的竞争力?》中提到过位置和上网是运营商最核心的数据,这些数据的价值挖掘极度依赖以上的核心算法。


互联网公司曾经走过的路,付出的代价,运营商是绕不过的,否则,就无法发挥出原生数据的更多价值。现在中国移动提出要从“要素”竞争向“要素+能力”竞争转型,在这里数据是要素,算法就是能力。



举个例子,基于社交网络识别出家庭、政企的各种关系对于运营商做好家庭、政企业务非常重要,以下示例了某位同事的家庭关系,涉及 17 个人,7 个物理家庭,通过这些关系的识别你才能更精准的提供服务。



9、数据中台的开放至关重要

授人以鱼不如授人以渔,数据中台要开放能力,不是眉毛胡子一把抓,需要尊重公司的现状,为不同的角色提供不同的数据开放手段。比如标签库主要为业务人员服务、DM 主要面向会 SQL 的人员,组件服务则面向技术开发人员等等。




10、数据中台的出口在哪里?

有了数据中台远远不够,只有之上的数据产品才能解决数据推送的最后一公里问题,很多数据团队最大的问题是没有数据产品,根本不是数据中台本身就能解决的。


凡是数据中台做的好的,前端的数据产品生态肯定是不错的,下图示例了我们的数据产品与阿里巴巴的对标,在我的前期文章中也有详细的阐述,即要从不同的赋能角色角度去思考数据产品的方向。



经过几年的摸索,赋能对外变现的神灯产品体系已经具备一定的规模,神灯产品以数据价值保护和信息安全为前提,进行数据、模型、标签、接口、应用产品等多层次的合作,探索合作研发、销售代理、资源互换、产品孵化、模型锤炼、大数据联邦等多种新型合作模式,如下页所示。




数据中台不需要去比框架、比技术或比性能,只要你的企业的业务人员或外部客户利用你的平台创造了更多价值,就是对数据中台最大的褒奖。


但要达到这个目标光有个数据中台是没有用的,除了数据产品,还需要配备相应的战略、组织、机制及人员等等,比如组织中台,也即先进生产力要适配相应的生产关系。下图列出了八个方向的建议,这些能力对传统企业的挑战特别巨大。



这次演讲基本的思想就是这些了,感谢 TD 公司的组织,让我们有机会让业界看到浙江移动的做法,但你没必要 COPY 我们的,因为数据中台没有标准架构,总是要掌握一个原则:参考别人的做法,听取专家的意见,然后自己做主。


作者介绍


傅一平 (微信号:fuyipingmnb)


本文转载自公众号与数据同行(ID:ysjtx_fyp)。


原文链接


https://mp.weixin.qq.com/s/QDtB9u1mg7O6ASe2bAWKig


2020 年 1 月 03 日 09:303510

评论

发布
暂无评论
发现更多内容

架构师都该懂的 CAP 定理

闻人

架构 分布式 架构师

Flink 1.11 Unaligned Checkpoint 解析

Apache Flink

flink

实操案例:字符串哈希表操作

华为云开发者社区

程序员 编程语言 C语言 哈希表 字符串

使用HSDB 查看jvm内存

引花眠

架构师训练营——请简述 CAP 原理

WW

MinIO 简介和搭建一个对象存储服务

耳东

Minio store Object store

来自前端童鞋对后端的吐槽@#$%^

Java小咖秀

程序员 程序员人生 程序人生 前端

「架构师训练营」第 7周作业 - 性能测试

森林

像写Flutter一样开发Android原生应用

萧文翰

flutter android Compose Android Studio

LeetCode 565. Array Nesting

liu_liu

算法 LeetCode

tomcat 使用apr

zack

tomcat

「架构师训练营」第 7 周作业 - 总结

森林

Oracle JDK7 bug 发现、分析与解决实战

vivo互联网技术

JVM系列之:详解java object对象在heap中的结构

程序那些事

Java JVM GC JOL

Flask 的 url 处理器

Leetao

Python flask Web框架

性能测试

满山李子

极客大学架构师训练营

波士顿动力狗 SPOT 权威购买指北

早睡蟒

Python 人工智能 学习 波士顿动力 机械狗

MySQL库表设计小技巧

Simon

MySQL 数据库设计

SpringBoot 使用 jasypt 对配置项进行加密

hungxy

Java springboot jasypt

k8s极简史:K8s多集群技术发展的历史、现状与未来

华为云开发者社区

Kubernetes 容器 云原生 容器技术 华为云

有趣的“第二个系统”

架构精进之路

提升认知 研发体系

itchat替代品,追妹子神器,个人微信给多个好友(群)发消息,定时提醒妹子喝水

Java_若依框架教程

技术 后端 itchat 微信消息 定时提醒

什么?还没有自己的域名?

北漂码农有话说

什么?不写代码也能做功能开发!- RUOYI教程

Java_若依框架教程

Java 技术 后端 开发 框架

Newbe.Claptrap 框架入门,第二步 —— 简单业务,清空购物车

newbe36524

容器 微服务架构 Reactive .net core ASP.NET Core

写一个 web 性能压测工具

WW

ARTS打卡 第8周

引花眠

ARTS 打卡计划

企业架构框架之DoDAF

Winfield

企业架构

凡架构必拆分,分则有度

菜根老谭

微服务 康威定律 架构思维 分治思维

计算机网络基础(七)---网络层-ICMP协议

书旅

计算机网络 网络协议 网络层

两个指针缩小范围算法,CQRS 命令查询职责分离模式 John 易筋 ARTS 打卡 Week 09

John(易筋)

ARTS 打卡计划

浙江移动数据中台的建设和应用实践-InfoQ