写点什么

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

  • 2022-09-26
    北京
  • 本文字数:5119 字

    阅读完需:约 17 分钟

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

AI 大模型超全落地场景&金融应用实践,8 月 16 - 19 日 FCon x AICon 大会联诀来袭、干货翻倍!

在商业市场竞争加剧以及国家政策扶持的大背景下,如何进行数字化转型成为了企业所关注的重点。


数据作为企业数字化转型的关键要素,同时也是赋能业务以及管理的重要生产资料,究竟企业应该如何打通数据壁垒,构建出数据采集、治理、分析和使用的完整闭环?如何深度挖掘数据的价值,提高企业运营效率,使得企业可以灵活应对迅速变化的市场环境?为了解答这一系列问题,有一个概念不得不提,那就是:数据中台


2015 年,阿里为了提高业务效率、支持产品创新、减少成本投入,开创了“大中台,小前台”的组织机制和业务模式,提出中台战略。后来的几年,数据中台的概念一路走红,逐渐深入互联网公司甚至是传统行业。


然而,几乎是在一夜之间,数据中台的“彩色泡泡”被戳破——一方面,提出这一理念的阿里被指忙着“拆中台”;另一方面,许多企业在大张旗鼓地建设完数据中台之后,发现其带来的回馈和价值并不明显。业界对数据中台的争议声接连不断。


但即便如此,仍然有企业把数据中台始终作为数据能力建设的关键部分。比如,近几年来,中国光大银行(以下简称“光大银行”)一直在加速数据平台的中台化、敏态化发展,通过建设数据中台沉淀数据资产价值,为“用数据驱动业务”夯实基础。


而关于数据中台的争议点,作为光大银行数据体系建设的核心参与者,光大银行资深数据架构师王磊在日前接受 InfoQ 采访时表示,其中既有概念不明确的原因,也有企业对数据中台期待过高的原因。用他的话说——数据中台就像是“巨人的肩膀”,但它不是让企业去做一些不能做的事,而是能够更快地去做现在能做的事


换句话说,企业建设数据中台,归根结底还是要回归业务本身,从自身情况出发。而不是无中生有,让企业去做与业务发展方向不匹配的事情。

数据中台的核心价值是实现数据复用


那么,具体来说,在企业数字化转型的过程中,数据中台的定位究竟是什么?我们或许可以从银行数据体系的建设历程中来找到答案。


银行数据体系的建设,可以追溯到初步信息化的时期,银行一方面将业务从线下转到线上,形成协同效应;另一方面将省级 IT 力量逐渐向总行迁移,实现集中电子化。


“在早期信息化阶段,手工业务逐渐被信息系统取代,但系统仍然在各分行单独部署,而后随着技术的进步,各家银行纷纷将地方的 IT 力量逐渐集中到总行,原有的分行开发系统不断消失,这是银行系统的大集中时期,主要为了解决银行电子化的工作需求。”王磊在谈及银行不同时期的发展特点时说道。


王磊表示,在这个阶段,银行对单机处理能力的依赖程度还较高,大多数银行面对日益增长的数据量,还是会优先选择更换硬件设备来提高系统负载量。


传统银行与客户接触都是通过柜台,从资产层面来说,它的设备容量比较容易评估。而当用户和银行的接触由传统的线下物理网点变为互联网平台时,对银行系统的冲击也随之而来。


“互联网电商的运营模式,制造出来像双十一这样的消费高峰,最终会体现在银行的交易层面。这时,怎样解决弹性资源的分配?怎样才能抵御系统的高并发?大多数银行会把总系统按照类别进行拆分,如用户中心、支付中心、产品中心等。换句话说,银行会把相对聚焦的业务拆分成更小颗粒度的单元,来保证系统整体的性能。”王磊说道。


如果说互联网时代是以人为核心,企业聚焦的是链接,为人提供平衡的供需关系,那么,随之而来的数字经济时代,则是以价值为核心,企业追求的是共同创造利润,从业务模式出发,利用海量数据,由彼及己,为自身赢取增长。


因此,在数字经济的时代背景下,王磊认为数字化转型的重点,不纯粹发生在 IT技术架构层面,而在于企业的业务发展。


他以银行互联网贷款的场景为例。传统方式下,用户向银行贷款递交申请主要是通过线下柜台,审核贷款申请可能需要几天甚至十几天;如今这种模式发生了明显的变化,银行后台通过算法模型以及引入各种辅助决策工具,让用户在线上递交的申请审核,变成一个自动化的过程,不少银行小额贷款可以做到实时反馈。


王磊表示,在前两个阶段,银行数据体系建设还主要是“烟囱式”,强调聚焦于某一条线、某一个业务板块去集成数据能力,而在不同条线之间会存在“部门墙”,系统层面也会存在互不相通的障碍。这些阻碍导致各系统之间的数据无法打通,可能存在数据不一致、难调用等一系列的问题,很难满足前台业务的高效甚至是实时响应的需求。


“而数据中台的主要作用就是解决系统横向打通的问题,在系统层面最大程度实现数据复用。”王磊指出。也就是说,数据中台拥有可以为不同形式的业务,提供通用数据服务的能力。

数据交付更加强调实时性


但是,由于业界对数据中台的概念一直没有统一的共识,有的公司会把原有数据类的能力和技术统一打包,就叫做数据中台——其中的核心内容仍然是过去的元数据管理、数仓、数据湖,前台的 BI 系统、报表文件、多维分析,以及大数据等技术。


“这类所谓的数据中台,没有带来新的东西。一个新的名词出现时,它如果没有区别于之前已经存在的概念,就只是‘新瓶装旧酒’,并没有什么实质性的创新。”王磊强调。


在他看来,要想正确理解数据中台,需要一种务实的态度。从银行角度来讲,数据中台一定是要从前台业务价值出发,提供一些数据拆解的能力。比如,要灵活支持前台,中台就必须与前台同频率变化,实时满足业务场景的需求。


但是,由于前台覆盖的业务面非常广泛,要想保持同频,对数据中台的交付能力又会提出挑战。


过去,数据分析主要服务于特定的场景。比如,银行会依托业务模型,把交易系统产生的数据,通过一种批量处理的方式,整理成企业所关注的各种指标,然后工作人员会根据这些指标来制定管理者所关注的数据,最终以报表资料的形式,辅助不同层级的管理者进行决策。


“如今,在银行数字化阶段,数据的使用方式已经发生了实质性的变化,不是单纯只从管理者做决策这一个场景出发,而是融入在一线业务的每一个场景。比如,前面说到的银行发放网络贷款的场景中,怎么去识别客户提交的数据?最终银行是否应该发放贷款?具体应该发放多少额度?再比如,在银行的营销场景下,如何能够与客户接触,为客户提供他们更感兴趣的产品?为了做出决策,数据的支持发生在每时每刻,并且离不开场景。”王磊说道。


具体从时间维度来看,传统数据处理的时效性是“T+1”天,也就是说,今天输出的数据报表,实际上是通过昨天的数据进行批量处理而得到的。但现在,数据使用、交付不单纯体现在产出数据报表的时间节点上,而是只要有正常的业务开展,就需要有数据赋能,会反应在任何一个时间点上。“比如,当客户在手机 APP 端提交了一个操作请求,银行后台需要及时反馈这个请求,所以,数据的交付必须更加强调实时性。”王磊解释道。


从系统架构层面上来看,当数据交付方式变化,数据中台服务能力的建设模式也会发生变化。过去,银行会先从数据库中读取批量数据,然后经过计算处理,最后以报表文件方式输出数据,这时数据能力的复用跟数据批量加工的形式之间,有着很强的耦合关系。


“但为了满足时效性,如今数据交付方式正在向服务化的方向发展,整个数据中台服务能力的架构方式,也由传统烟囱式架构向着微服务化架构转型。”王磊说道。


具体来说,微服务架构运用的是围绕业务需求的轻量级架构,所以具有诸多好处。比如,因为服务的设计是围绕特定业务开展的,例如商品服务只管理商品、客户服务只管理客户等,这意味着开发人员足够专注,可以大大提高开发效率;再比如,微服务架构中的每一个服务都是一个独立应用,可以访问自己的数据库,通过提供公共 API,服务之间还可以相互调用,如此一来就可以满足不同业务的快速开展和交互。


“所以,在我们的数据交付和应用交付过程中,服务化成为非常重要的承接方式,而微服务化架构也发挥着重要的作用。”王磊强调。

数据中台可以这样考虑投入产出比


但话说回来,建设数据中台的确是一件高投入且长期的工作,短期内很难看到直接效益。对于企业而言,不得不考虑到一件事就是“投入产出比”。


“如果数据中台非常划算,那么企业很早就会建设了,也不会等到现在。企业之所以都做烟囱式的系统,就是因为烟囱式系统的短期效益更好,做了一个系统、加了一个功能,立马可以用上。”王磊解释道,因此,短期来说,未必所有的企业都需要建设数据中台。不同的企业处于不同的发展阶段,拥有不同的盈利模式,自然对数据的需求也就千企千面。


但是,就金融机构而言,长期来看,当面临业务日新月异的变化,传统的 IT 系统建设模式,大概率比数据中台的建设成本更高。


王磊表示:“拿银行业来举例,为了适应客户需求的变化,银行在组织架构方面的调整也越来越频繁。很多时候会遇到今年系统要合并,明年再拆分的情况,如果按照原本的投入方式,反而会让 IT 系统成本越来越高。”


而如前文所说,数据中台的核心是企业级的能力复用,这种能力虽然不能快速建立起来,但是通过项目经验稳定沉淀,长此以往,可以大大降低企业的应用开发风险和成本。


那么,从未来中长期来看,企业应该如何权衡数据中台的投入产出比呢?


王磊认为,数据中台是不是能够带来效益,可以在构建新场景的过程中计算。比如,在固定场景中,数据中台投入了多大的成本,如果是按照传统烟囱式系统进行建设的话,其投入成本又有多少,二者进行对比分析,可以直接量化得出结果。未来,也可以采用同样的量化方式,复盘数据能力的复用可以为企业带来多少的增长价值。


“对于任何投入,企业都会理性地关注它的价值点。当我们去看数据中台时,最开始一定是看数据中台在哪些范围、哪些场景能发挥作用。企业一定也希望自己能够尽早的触达这些场景。如果数据中台在某个能力点上的复用率很高,应用场景自然也很广泛,那么,这一点的投入在未来带来收益的可能性就更很大。如果是复用率比较低的节点,企业投入就可以少一些。”王磊进一步说道。


他举了个例子,“比如,大多数银行都会对客户资产进行一个评估,这个指标会在不同条件、不同场景下被重复使用。因此,企业可以将这种关键性的指标放在数据中台的建设过程中,从而获得更大的收益。”


总的来说,企业应该通过自身的实践出发,找到具有潜力的业务场景,有针对性地投入资源、费用、人力等成本,才有更大可能从中挖掘价值、创造收益。

让业务人员参与其中


那么,建设完数据中台之后,如何确保它能够发挥最大的价值?这是大部分企业的另一个疑问。


王磊指出:“由于数据和业务之间具有关联性,数据的实际使用是以业务上的定义为前提的,换句话说,数据中台发挥价值的一个重要前提便是——要在业务语义上进行标准化、成体系的管理。”


他拿“客户”一词进行举例,对于不同分行、不同业务线、不同部门而言,这个词的定义、界限、分类可能完全不同。“但如果我们对客户都没有一个明确定义的话,那么客户的价值、客户的资产就不知道应该采用什么样的规则去计算,更不用提让数据能够复用了。这归根到底还是业务口径不一致带来的问题。”


由此可见,数据中台所形成的技术能力实际上是业务能力的体现,业务人员需要参与到整个数据中台的建设过程中,对数据有更好的管控,才能让数据中台更好地赋能于业务场景


然而,业务与技术的鸿沟是天然存在的,这是企业面临的普遍问题,也是决定了数据中台价值能不能有效发挥的关键要素。 “从这两年银行业的实践可以看到,很多银行都在成立独立的数据部门,去负责数据能力建设或者数据中台建设的工作,目的就是拉通业务和技术,通过一种通力协作的方式去重新构建企业能力。具体来说,这个数据部门通常既有传统的 IT 技术能力,又会融合企业的业务能力。”王磊说道。


同样,我们也看到光大银行在数月前的公告中对外公布,银行的组织架构将有所调整,数据资产管理部也会随之建立起来。对此,王磊表示,“我觉得,未来数据资产管理部会在很大程度上推进我们共同去完善数据中台的建设。”


但是,另一个问题是,新技术的应用一定有一个周期。比如,目前还有很多银行的一线业务人员由于缺少对新技术工具的驾驭能力,所以仍旧会使用 Excel 这种非常传统的数据分析工具,进行计算、分析。


这其中既有业务人员思维意识的原因,也有技术本身的原因。“短时间来看,用 Excel 报表确实可以更灵活的完成一些工作。但是毕竟这只是一种轻量级的数据统计分析工具,随着银行数据量级的增长、业务场景的复杂化,像 Excel 这种传统的数据统计分析工具会无法承载。另一方面,由于工具级别的不同,它们处理问题的逻辑也是不一样的,因此,系统对现在的业务支持可能也会存在一些盲点,这会导致一线业务人员不得不用报表去分析业务情况。”王磊表示。


所以,在他看来,业务人员使用数据的能力和技术人员构建的数据平台之间需要一个桥梁,在这个桥梁之上,还需要业务人员和技术人员的共同学习、互相奔赴,努力扩大“共通的意义空间”。只有这样,才能够真正发挥数据中台的价值,才能让数据流向业务、驱动业务、赋能业务。

2022-09-26 11:4410134

评论

发布
暂无评论
发现更多内容

阿里P8大牛终于整理完了564页大话java性能优化神仙文档

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

阿里P8大牛耗费三年整理的:Java架构之完美设计实战PDF

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

秋招开局痛击!迷惑的阿里三面反手一个感谢信,最终被字节捞起

编程susu

Java 编程 面试 计算机 技术宅

小数据与业务的毛细血管

boshi

大数据 深度思考

疫情小区离你有多远,百度地图告诉你

百度开发者中心

最佳实践 百度地图

膜拜!阿里内部都在强力进阶学习springboot实战派文档

公众号_愿天堂没有BUG

Java 编程 程序员 架构 面试

这一次!我在百度告诉你,当你请求百度时都发生了什么...

程序员 架构 面试 计算机

Alibaba新产!Spring+SpringBoot+SpringCloud全家桶进阶小册

Java~~~

Java spring 架构 面试 Spring Cloud

今天我们来谈谈Golang的同步等待组

Regan Yue

Go 语言 8月日更 同步等待组

常用正则表达式最强汇总(含Python代码举例讲解+爬虫实战)

Python研究者

8月日更

Shopee物流业务核心数据库架构演变——权衡取舍的艺术

Shopee技术团队

架构 #数据库 #物流 #供应链 #Shopee

使用接口文档快照机制,让接口文档不在频繁变动

CodeNongXiaoW

大前端 测试 后端 接口文档

如何支持亿级用户分流实验?AB实验平台在爱奇艺的实践

爱奇艺技术产品团队

测试 开发 精准测试 AB testing实战

最佳实践 | 单元测试+回归测试在SRS代码提交中的实践总结

腾讯云音视频

SRS

APP DIFF自动化解决方案

爱奇艺技术产品团队

测试 开发 精准测试 Diff i技术会

👊【SpringCloud技术专题】超级详细的Gateway网关的技术指南

洛神灬殇

网关 SpringcloudGateway SpringCloud Gateway 8月日更

堡垒机和防火墙的三大区别分析-行云管家

行云管家

网络安全 防火墙 信息安全 数据安全 堡垒机

算法推荐规制!《互联网信息服务算法推荐管理规定(征求意见稿)》公开征求意见

郑州埃文科技

你还在认为TypeScirpt 是 AnyScript ?

程序员海军

typescript 大前端 javascri

培训教育系统开发

(王经理)专业app小程序开发

模块六作业

燕燕 yen yen

架构实战营

是的你没看错,HTTP3来了

程序那些事

HTTP 程序那些事 http3

超实用?HUAWEI高工总结出15W字的图解计算机操作系统指南手册

Java~~~

Java 架构 面试 TCP 网络

保姆级教程,小白也能2周搞定3个月的Web开发任务!

博文视点Broadview

字节再次出圈!GitHub上爆火一星期的算法刷题手册竟出自这人之手

Java~~~

Java 架构 面试 算法 数据结构与算法

终于有人把操作系统,CPU,基础知识,网络一次讲清楚了,绝绝子

Java~~~

Java 架构 面试 TCP 网络

基于 Formily 的表单设计器实现原理分析 ​

全象云低代码

JavaScript 低代码开发 表单设计

比POSTMAN更好用!在国产接口调试工具APIPOST中使用Mock

Proud lion

大前端 后端 Postman 开发工具 接口文档

开源应用中心|这款纯手工打造的开源博客平台,大佬们都在用!

开源

开源大数据Meetup回顾 | 第四范式:现代存储架构下的系统优化实践

课程排课软件开发

(王经理)专业app小程序开发

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事_架构_阎婷_InfoQ精选文章