【ArchSummit架构师峰会】基于大模型的基础框架、中台、应用层等专题全覆盖 >>> 了解详情
写点什么

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

  • 2022-09-26
    北京
  • 本文字数:5119 字

    阅读完需:约 17 分钟

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

在商业市场竞争加剧以及国家政策扶持的大背景下,如何进行数字化转型成为了企业所关注的重点。


数据作为企业数字化转型的关键要素,同时也是赋能业务以及管理的重要生产资料,究竟企业应该如何打通数据壁垒,构建出数据采集、治理、分析和使用的完整闭环?如何深度挖掘数据的价值,提高企业运营效率,使得企业可以灵活应对迅速变化的市场环境?为了解答这一系列问题,有一个概念不得不提,那就是:数据中台


2015 年,阿里为了提高业务效率、支持产品创新、减少成本投入,开创了“大中台,小前台”的组织机制和业务模式,提出中台战略。后来的几年,数据中台的概念一路走红,逐渐深入互联网公司甚至是传统行业。


然而,几乎是在一夜之间,数据中台的“彩色泡泡”被戳破——一方面,提出这一理念的阿里被指忙着“拆中台”;另一方面,许多企业在大张旗鼓地建设完数据中台之后,发现其带来的回馈和价值并不明显。业界对数据中台的争议声接连不断。


但即便如此,仍然有企业把数据中台始终作为数据能力建设的关键部分。比如,近几年来,中国光大银行(以下简称“光大银行”)一直在加速数据平台的中台化、敏态化发展,通过建设数据中台沉淀数据资产价值,为“用数据驱动业务”夯实基础。


而关于数据中台的争议点,作为光大银行数据体系建设的核心参与者,光大银行资深数据架构师王磊在日前接受 InfoQ 采访时表示,其中既有概念不明确的原因,也有企业对数据中台期待过高的原因。用他的话说——数据中台就像是“巨人的肩膀”,但它不是让企业去做一些不能做的事,而是能够更快地去做现在能做的事


换句话说,企业建设数据中台,归根结底还是要回归业务本身,从自身情况出发。而不是无中生有,让企业去做与业务发展方向不匹配的事情。

数据中台的核心价值是实现数据复用


那么,具体来说,在企业数字化转型的过程中,数据中台的定位究竟是什么?我们或许可以从银行数据体系的建设历程中来找到答案。


银行数据体系的建设,可以追溯到初步信息化的时期,银行一方面将业务从线下转到线上,形成协同效应;另一方面将省级 IT 力量逐渐向总行迁移,实现集中电子化。


“在早期信息化阶段,手工业务逐渐被信息系统取代,但系统仍然在各分行单独部署,而后随着技术的进步,各家银行纷纷将地方的 IT 力量逐渐集中到总行,原有的分行开发系统不断消失,这是银行系统的大集中时期,主要为了解决银行电子化的工作需求。”王磊在谈及银行不同时期的发展特点时说道。


王磊表示,在这个阶段,银行对单机处理能力的依赖程度还较高,大多数银行面对日益增长的数据量,还是会优先选择更换硬件设备来提高系统负载量。


传统银行与客户接触都是通过柜台,从资产层面来说,它的设备容量比较容易评估。而当用户和银行的接触由传统的线下物理网点变为互联网平台时,对银行系统的冲击也随之而来。


“互联网电商的运营模式,制造出来像双十一这样的消费高峰,最终会体现在银行的交易层面。这时,怎样解决弹性资源的分配?怎样才能抵御系统的高并发?大多数银行会把总系统按照类别进行拆分,如用户中心、支付中心、产品中心等。换句话说,银行会把相对聚焦的业务拆分成更小颗粒度的单元,来保证系统整体的性能。”王磊说道。


如果说互联网时代是以人为核心,企业聚焦的是链接,为人提供平衡的供需关系,那么,随之而来的数字经济时代,则是以价值为核心,企业追求的是共同创造利润,从业务模式出发,利用海量数据,由彼及己,为自身赢取增长。


因此,在数字经济的时代背景下,王磊认为数字化转型的重点,不纯粹发生在 IT技术架构层面,而在于企业的业务发展。


他以银行互联网贷款的场景为例。传统方式下,用户向银行贷款递交申请主要是通过线下柜台,审核贷款申请可能需要几天甚至十几天;如今这种模式发生了明显的变化,银行后台通过算法模型以及引入各种辅助决策工具,让用户在线上递交的申请审核,变成一个自动化的过程,不少银行小额贷款可以做到实时反馈。


王磊表示,在前两个阶段,银行数据体系建设还主要是“烟囱式”,强调聚焦于某一条线、某一个业务板块去集成数据能力,而在不同条线之间会存在“部门墙”,系统层面也会存在互不相通的障碍。这些阻碍导致各系统之间的数据无法打通,可能存在数据不一致、难调用等一系列的问题,很难满足前台业务的高效甚至是实时响应的需求。


“而数据中台的主要作用就是解决系统横向打通的问题,在系统层面最大程度实现数据复用。”王磊指出。也就是说,数据中台拥有可以为不同形式的业务,提供通用数据服务的能力。

数据交付更加强调实时性


但是,由于业界对数据中台的概念一直没有统一的共识,有的公司会把原有数据类的能力和技术统一打包,就叫做数据中台——其中的核心内容仍然是过去的元数据管理、数仓、数据湖,前台的 BI 系统、报表文件、多维分析,以及大数据等技术。


“这类所谓的数据中台,没有带来新的东西。一个新的名词出现时,它如果没有区别于之前已经存在的概念,就只是‘新瓶装旧酒’,并没有什么实质性的创新。”王磊强调。


在他看来,要想正确理解数据中台,需要一种务实的态度。从银行角度来讲,数据中台一定是要从前台业务价值出发,提供一些数据拆解的能力。比如,要灵活支持前台,中台就必须与前台同频率变化,实时满足业务场景的需求。


但是,由于前台覆盖的业务面非常广泛,要想保持同频,对数据中台的交付能力又会提出挑战。


过去,数据分析主要服务于特定的场景。比如,银行会依托业务模型,把交易系统产生的数据,通过一种批量处理的方式,整理成企业所关注的各种指标,然后工作人员会根据这些指标来制定管理者所关注的数据,最终以报表资料的形式,辅助不同层级的管理者进行决策。


“如今,在银行数字化阶段,数据的使用方式已经发生了实质性的变化,不是单纯只从管理者做决策这一个场景出发,而是融入在一线业务的每一个场景。比如,前面说到的银行发放网络贷款的场景中,怎么去识别客户提交的数据?最终银行是否应该发放贷款?具体应该发放多少额度?再比如,在银行的营销场景下,如何能够与客户接触,为客户提供他们更感兴趣的产品?为了做出决策,数据的支持发生在每时每刻,并且离不开场景。”王磊说道。


具体从时间维度来看,传统数据处理的时效性是“T+1”天,也就是说,今天输出的数据报表,实际上是通过昨天的数据进行批量处理而得到的。但现在,数据使用、交付不单纯体现在产出数据报表的时间节点上,而是只要有正常的业务开展,就需要有数据赋能,会反应在任何一个时间点上。“比如,当客户在手机 APP 端提交了一个操作请求,银行后台需要及时反馈这个请求,所以,数据的交付必须更加强调实时性。”王磊解释道。


从系统架构层面上来看,当数据交付方式变化,数据中台服务能力的建设模式也会发生变化。过去,银行会先从数据库中读取批量数据,然后经过计算处理,最后以报表文件方式输出数据,这时数据能力的复用跟数据批量加工的形式之间,有着很强的耦合关系。


“但为了满足时效性,如今数据交付方式正在向服务化的方向发展,整个数据中台服务能力的架构方式,也由传统烟囱式架构向着微服务化架构转型。”王磊说道。


具体来说,微服务架构运用的是围绕业务需求的轻量级架构,所以具有诸多好处。比如,因为服务的设计是围绕特定业务开展的,例如商品服务只管理商品、客户服务只管理客户等,这意味着开发人员足够专注,可以大大提高开发效率;再比如,微服务架构中的每一个服务都是一个独立应用,可以访问自己的数据库,通过提供公共 API,服务之间还可以相互调用,如此一来就可以满足不同业务的快速开展和交互。


“所以,在我们的数据交付和应用交付过程中,服务化成为非常重要的承接方式,而微服务化架构也发挥着重要的作用。”王磊强调。

数据中台可以这样考虑投入产出比


但话说回来,建设数据中台的确是一件高投入且长期的工作,短期内很难看到直接效益。对于企业而言,不得不考虑到一件事就是“投入产出比”。


“如果数据中台非常划算,那么企业很早就会建设了,也不会等到现在。企业之所以都做烟囱式的系统,就是因为烟囱式系统的短期效益更好,做了一个系统、加了一个功能,立马可以用上。”王磊解释道,因此,短期来说,未必所有的企业都需要建设数据中台。不同的企业处于不同的发展阶段,拥有不同的盈利模式,自然对数据的需求也就千企千面。


但是,就金融机构而言,长期来看,当面临业务日新月异的变化,传统的 IT 系统建设模式,大概率比数据中台的建设成本更高。


王磊表示:“拿银行业来举例,为了适应客户需求的变化,银行在组织架构方面的调整也越来越频繁。很多时候会遇到今年系统要合并,明年再拆分的情况,如果按照原本的投入方式,反而会让 IT 系统成本越来越高。”


而如前文所说,数据中台的核心是企业级的能力复用,这种能力虽然不能快速建立起来,但是通过项目经验稳定沉淀,长此以往,可以大大降低企业的应用开发风险和成本。


那么,从未来中长期来看,企业应该如何权衡数据中台的投入产出比呢?


王磊认为,数据中台是不是能够带来效益,可以在构建新场景的过程中计算。比如,在固定场景中,数据中台投入了多大的成本,如果是按照传统烟囱式系统进行建设的话,其投入成本又有多少,二者进行对比分析,可以直接量化得出结果。未来,也可以采用同样的量化方式,复盘数据能力的复用可以为企业带来多少的增长价值。


“对于任何投入,企业都会理性地关注它的价值点。当我们去看数据中台时,最开始一定是看数据中台在哪些范围、哪些场景能发挥作用。企业一定也希望自己能够尽早的触达这些场景。如果数据中台在某个能力点上的复用率很高,应用场景自然也很广泛,那么,这一点的投入在未来带来收益的可能性就更很大。如果是复用率比较低的节点,企业投入就可以少一些。”王磊进一步说道。


他举了个例子,“比如,大多数银行都会对客户资产进行一个评估,这个指标会在不同条件、不同场景下被重复使用。因此,企业可以将这种关键性的指标放在数据中台的建设过程中,从而获得更大的收益。”


总的来说,企业应该通过自身的实践出发,找到具有潜力的业务场景,有针对性地投入资源、费用、人力等成本,才有更大可能从中挖掘价值、创造收益。

让业务人员参与其中


那么,建设完数据中台之后,如何确保它能够发挥最大的价值?这是大部分企业的另一个疑问。


王磊指出:“由于数据和业务之间具有关联性,数据的实际使用是以业务上的定义为前提的,换句话说,数据中台发挥价值的一个重要前提便是——要在业务语义上进行标准化、成体系的管理。”


他拿“客户”一词进行举例,对于不同分行、不同业务线、不同部门而言,这个词的定义、界限、分类可能完全不同。“但如果我们对客户都没有一个明确定义的话,那么客户的价值、客户的资产就不知道应该采用什么样的规则去计算,更不用提让数据能够复用了。这归根到底还是业务口径不一致带来的问题。”


由此可见,数据中台所形成的技术能力实际上是业务能力的体现,业务人员需要参与到整个数据中台的建设过程中,对数据有更好的管控,才能让数据中台更好地赋能于业务场景


然而,业务与技术的鸿沟是天然存在的,这是企业面临的普遍问题,也是决定了数据中台价值能不能有效发挥的关键要素。 “从这两年银行业的实践可以看到,很多银行都在成立独立的数据部门,去负责数据能力建设或者数据中台建设的工作,目的就是拉通业务和技术,通过一种通力协作的方式去重新构建企业能力。具体来说,这个数据部门通常既有传统的 IT 技术能力,又会融合企业的业务能力。”王磊说道。


同样,我们也看到光大银行在数月前的公告中对外公布,银行的组织架构将有所调整,数据资产管理部也会随之建立起来。对此,王磊表示,“我觉得,未来数据资产管理部会在很大程度上推进我们共同去完善数据中台的建设。”


但是,另一个问题是,新技术的应用一定有一个周期。比如,目前还有很多银行的一线业务人员由于缺少对新技术工具的驾驭能力,所以仍旧会使用 Excel 这种非常传统的数据分析工具,进行计算、分析。


这其中既有业务人员思维意识的原因,也有技术本身的原因。“短时间来看,用 Excel 报表确实可以更灵活的完成一些工作。但是毕竟这只是一种轻量级的数据统计分析工具,随着银行数据量级的增长、业务场景的复杂化,像 Excel 这种传统的数据统计分析工具会无法承载。另一方面,由于工具级别的不同,它们处理问题的逻辑也是不一样的,因此,系统对现在的业务支持可能也会存在一些盲点,这会导致一线业务人员不得不用报表去分析业务情况。”王磊表示。


所以,在他看来,业务人员使用数据的能力和技术人员构建的数据平台之间需要一个桥梁,在这个桥梁之上,还需要业务人员和技术人员的共同学习、互相奔赴,努力扩大“共通的意义空间”。只有这样,才能够真正发挥数据中台的价值,才能让数据流向业务、驱动业务、赋能业务。

2022-09-26 11:4410084

评论

发布
暂无评论
发现更多内容

中路对线发现正在攻防演练中投毒的红队大佬

墨菲安全

网络安全 npm 投毒 投毒分析

手把手带你玩转HetuEngine:资源规划与数据源对接

华为云开发者联盟

大数据 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

生成式AI技术:引领未来内容创作

百度开发者中心

物联网, 云计算, 文心一言 人工智能、

亚信科技AntDB数据库连年入选《中国DBMS市场指南》代表厂商

亚信AntDB数据库

数据库 AntDB AntDB数据库 企业号 8 月 PK 榜

Spring高手之路12——BeanDefinitionRegistry与BeanDefinition合并解析

砖业洋__

spring BeanDefinition BeanDefinitionRegistry BeanDefinition合并

生成式AI:人工智能新范式,引领生产力革命

百度开发者中心

#人工智能 文心一言

科技前沿的助力:探索语音标注平台的奇迹

来自四九城儿

九科信息成功签约中交财资管理(香港)有限公司-境外银行账户可视化管控流程自动化系统项目

九科Ninetech

关于云原生开源开发者沙龙「微服务X消息队列专场」的延期通知

阿里巴巴云原生

阿里云 微服务 云原生 消息队列

报名开启 | HarmonyOS第一课“营”在暑期系列直播

HarmonyOS开发者

HarmonyOS

REST 内容协商详解:理论解读与实际应用指南

Liam

程序员 前端 后端 web开发 RESTful API

​Kubernetes的演变:从etcd到分布式SQL的过渡

互联网工科生

Kubernetes etcd 部署

画质提升+带宽优化,小红书音视频团队端云结合超分落地实践

小红书技术REDtech

音视频 小红书

开发者不需要成为 K8s 专家!!!

北京好雨科技有限公司

Kubernetes 开发者 PaaS #云原生

让企业内部开发游刃有余,平台工程到底是什么?

树上有只程序猿

DevOps 软件开发 平台工程

介绍一下我们的开源“充电之旅” - 两位新晋 Apache Flink Committer 专访

字节跳动云原生计算

flink 开源 字节跳动 流式计算

备份或同步数据?跨国大文件传输的不同需求与解决方案

镭速

大文件传输 跨国文件传输

揭秘!CIPU最新秘密武器–弹性RDMA的技术解析与实践

阿里云弹性计算

小米交卷大模型,全新小爱同学实测来了

Openlab_cosmoplat

小米 大模型 小爱同学

MySQL的Json类型字段IN查询分组和优化方法

北桥苏

MySQL SQL优化 虚拟字段

带你读论文丨S&P21 Survivalism: Living-Off-The-Land 经典离地攻击

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 8 月 PK 榜

RocketMQ 5.0 架构解析:如何基于云原生架构支撑多元化场景

阿里巴巴云原生

阿里云 RocketMQ 云原生

CAD设计软件autocad 2024下载 autocad 2024安装方法

mac

AutoCAD 2024 苹果mac Windows软件 CAD设计软件

低代码系列——初步认识低代码

互联网工科生

软件开发 低代码 JNPF

开放网关架构演进

阿里技术

网关 开放网关

解决跨时区跨语言的国外大文件传输问题

镭速

跨国传输大文件 传输大文件 国外大文件传输

和鲸 ModelWhale 与中科可控多款服务器完成适配认证,赋能中国云生态

ModelWhale

云原生 服务器 信创

拯救开源:《网络韧性法案》即将带来的悲剧

开源雨林

开源 LICENSE

技术分享| WebRTC之SDP详解

anyRTC开发者

WebRTC RTC sdp

华秋硬创联合安创加速器,加速和创新赋能技术驱动型创业者

华秋电子

创业

Capture One Pro 22 for Mac(RAW图像处理软件) v15.4.2.12中文版

mac

Raw图像处理软件 苹果mac Windows软件下载 Capture One Pro 22

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事_架构_阎婷_InfoQ精选文章