【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

  • 2022-09-26
    北京
  • 本文字数:5119 字

    阅读完需:约 17 分钟

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事

在商业市场竞争加剧以及国家政策扶持的大背景下,如何进行数字化转型成为了企业所关注的重点。


数据作为企业数字化转型的关键要素,同时也是赋能业务以及管理的重要生产资料,究竟企业应该如何打通数据壁垒,构建出数据采集、治理、分析和使用的完整闭环?如何深度挖掘数据的价值,提高企业运营效率,使得企业可以灵活应对迅速变化的市场环境?为了解答这一系列问题,有一个概念不得不提,那就是:数据中台


2015 年,阿里为了提高业务效率、支持产品创新、减少成本投入,开创了“大中台,小前台”的组织机制和业务模式,提出中台战略。后来的几年,数据中台的概念一路走红,逐渐深入互联网公司甚至是传统行业。


然而,几乎是在一夜之间,数据中台的“彩色泡泡”被戳破——一方面,提出这一理念的阿里被指忙着“拆中台”;另一方面,许多企业在大张旗鼓地建设完数据中台之后,发现其带来的回馈和价值并不明显。业界对数据中台的争议声接连不断。


但即便如此,仍然有企业把数据中台始终作为数据能力建设的关键部分。比如,近几年来,中国光大银行(以下简称“光大银行”)一直在加速数据平台的中台化、敏态化发展,通过建设数据中台沉淀数据资产价值,为“用数据驱动业务”夯实基础。


而关于数据中台的争议点,作为光大银行数据体系建设的核心参与者,光大银行资深数据架构师王磊在日前接受 InfoQ 采访时表示,其中既有概念不明确的原因,也有企业对数据中台期待过高的原因。用他的话说——数据中台就像是“巨人的肩膀”,但它不是让企业去做一些不能做的事,而是能够更快地去做现在能做的事


换句话说,企业建设数据中台,归根结底还是要回归业务本身,从自身情况出发。而不是无中生有,让企业去做与业务发展方向不匹配的事情。

数据中台的核心价值是实现数据复用


那么,具体来说,在企业数字化转型的过程中,数据中台的定位究竟是什么?我们或许可以从银行数据体系的建设历程中来找到答案。


银行数据体系的建设,可以追溯到初步信息化的时期,银行一方面将业务从线下转到线上,形成协同效应;另一方面将省级 IT 力量逐渐向总行迁移,实现集中电子化。


“在早期信息化阶段,手工业务逐渐被信息系统取代,但系统仍然在各分行单独部署,而后随着技术的进步,各家银行纷纷将地方的 IT 力量逐渐集中到总行,原有的分行开发系统不断消失,这是银行系统的大集中时期,主要为了解决银行电子化的工作需求。”王磊在谈及银行不同时期的发展特点时说道。


王磊表示,在这个阶段,银行对单机处理能力的依赖程度还较高,大多数银行面对日益增长的数据量,还是会优先选择更换硬件设备来提高系统负载量。


传统银行与客户接触都是通过柜台,从资产层面来说,它的设备容量比较容易评估。而当用户和银行的接触由传统的线下物理网点变为互联网平台时,对银行系统的冲击也随之而来。


“互联网电商的运营模式,制造出来像双十一这样的消费高峰,最终会体现在银行的交易层面。这时,怎样解决弹性资源的分配?怎样才能抵御系统的高并发?大多数银行会把总系统按照类别进行拆分,如用户中心、支付中心、产品中心等。换句话说,银行会把相对聚焦的业务拆分成更小颗粒度的单元,来保证系统整体的性能。”王磊说道。


如果说互联网时代是以人为核心,企业聚焦的是链接,为人提供平衡的供需关系,那么,随之而来的数字经济时代,则是以价值为核心,企业追求的是共同创造利润,从业务模式出发,利用海量数据,由彼及己,为自身赢取增长。


因此,在数字经济的时代背景下,王磊认为数字化转型的重点,不纯粹发生在 IT技术架构层面,而在于企业的业务发展。


他以银行互联网贷款的场景为例。传统方式下,用户向银行贷款递交申请主要是通过线下柜台,审核贷款申请可能需要几天甚至十几天;如今这种模式发生了明显的变化,银行后台通过算法模型以及引入各种辅助决策工具,让用户在线上递交的申请审核,变成一个自动化的过程,不少银行小额贷款可以做到实时反馈。


王磊表示,在前两个阶段,银行数据体系建设还主要是“烟囱式”,强调聚焦于某一条线、某一个业务板块去集成数据能力,而在不同条线之间会存在“部门墙”,系统层面也会存在互不相通的障碍。这些阻碍导致各系统之间的数据无法打通,可能存在数据不一致、难调用等一系列的问题,很难满足前台业务的高效甚至是实时响应的需求。


“而数据中台的主要作用就是解决系统横向打通的问题,在系统层面最大程度实现数据复用。”王磊指出。也就是说,数据中台拥有可以为不同形式的业务,提供通用数据服务的能力。

数据交付更加强调实时性


但是,由于业界对数据中台的概念一直没有统一的共识,有的公司会把原有数据类的能力和技术统一打包,就叫做数据中台——其中的核心内容仍然是过去的元数据管理、数仓、数据湖,前台的 BI 系统、报表文件、多维分析,以及大数据等技术。


“这类所谓的数据中台,没有带来新的东西。一个新的名词出现时,它如果没有区别于之前已经存在的概念,就只是‘新瓶装旧酒’,并没有什么实质性的创新。”王磊强调。


在他看来,要想正确理解数据中台,需要一种务实的态度。从银行角度来讲,数据中台一定是要从前台业务价值出发,提供一些数据拆解的能力。比如,要灵活支持前台,中台就必须与前台同频率变化,实时满足业务场景的需求。


但是,由于前台覆盖的业务面非常广泛,要想保持同频,对数据中台的交付能力又会提出挑战。


过去,数据分析主要服务于特定的场景。比如,银行会依托业务模型,把交易系统产生的数据,通过一种批量处理的方式,整理成企业所关注的各种指标,然后工作人员会根据这些指标来制定管理者所关注的数据,最终以报表资料的形式,辅助不同层级的管理者进行决策。


“如今,在银行数字化阶段,数据的使用方式已经发生了实质性的变化,不是单纯只从管理者做决策这一个场景出发,而是融入在一线业务的每一个场景。比如,前面说到的银行发放网络贷款的场景中,怎么去识别客户提交的数据?最终银行是否应该发放贷款?具体应该发放多少额度?再比如,在银行的营销场景下,如何能够与客户接触,为客户提供他们更感兴趣的产品?为了做出决策,数据的支持发生在每时每刻,并且离不开场景。”王磊说道。


具体从时间维度来看,传统数据处理的时效性是“T+1”天,也就是说,今天输出的数据报表,实际上是通过昨天的数据进行批量处理而得到的。但现在,数据使用、交付不单纯体现在产出数据报表的时间节点上,而是只要有正常的业务开展,就需要有数据赋能,会反应在任何一个时间点上。“比如,当客户在手机 APP 端提交了一个操作请求,银行后台需要及时反馈这个请求,所以,数据的交付必须更加强调实时性。”王磊解释道。


从系统架构层面上来看,当数据交付方式变化,数据中台服务能力的建设模式也会发生变化。过去,银行会先从数据库中读取批量数据,然后经过计算处理,最后以报表文件方式输出数据,这时数据能力的复用跟数据批量加工的形式之间,有着很强的耦合关系。


“但为了满足时效性,如今数据交付方式正在向服务化的方向发展,整个数据中台服务能力的架构方式,也由传统烟囱式架构向着微服务化架构转型。”王磊说道。


具体来说,微服务架构运用的是围绕业务需求的轻量级架构,所以具有诸多好处。比如,因为服务的设计是围绕特定业务开展的,例如商品服务只管理商品、客户服务只管理客户等,这意味着开发人员足够专注,可以大大提高开发效率;再比如,微服务架构中的每一个服务都是一个独立应用,可以访问自己的数据库,通过提供公共 API,服务之间还可以相互调用,如此一来就可以满足不同业务的快速开展和交互。


“所以,在我们的数据交付和应用交付过程中,服务化成为非常重要的承接方式,而微服务化架构也发挥着重要的作用。”王磊强调。

数据中台可以这样考虑投入产出比


但话说回来,建设数据中台的确是一件高投入且长期的工作,短期内很难看到直接效益。对于企业而言,不得不考虑到一件事就是“投入产出比”。


“如果数据中台非常划算,那么企业很早就会建设了,也不会等到现在。企业之所以都做烟囱式的系统,就是因为烟囱式系统的短期效益更好,做了一个系统、加了一个功能,立马可以用上。”王磊解释道,因此,短期来说,未必所有的企业都需要建设数据中台。不同的企业处于不同的发展阶段,拥有不同的盈利模式,自然对数据的需求也就千企千面。


但是,就金融机构而言,长期来看,当面临业务日新月异的变化,传统的 IT 系统建设模式,大概率比数据中台的建设成本更高。


王磊表示:“拿银行业来举例,为了适应客户需求的变化,银行在组织架构方面的调整也越来越频繁。很多时候会遇到今年系统要合并,明年再拆分的情况,如果按照原本的投入方式,反而会让 IT 系统成本越来越高。”


而如前文所说,数据中台的核心是企业级的能力复用,这种能力虽然不能快速建立起来,但是通过项目经验稳定沉淀,长此以往,可以大大降低企业的应用开发风险和成本。


那么,从未来中长期来看,企业应该如何权衡数据中台的投入产出比呢?


王磊认为,数据中台是不是能够带来效益,可以在构建新场景的过程中计算。比如,在固定场景中,数据中台投入了多大的成本,如果是按照传统烟囱式系统进行建设的话,其投入成本又有多少,二者进行对比分析,可以直接量化得出结果。未来,也可以采用同样的量化方式,复盘数据能力的复用可以为企业带来多少的增长价值。


“对于任何投入,企业都会理性地关注它的价值点。当我们去看数据中台时,最开始一定是看数据中台在哪些范围、哪些场景能发挥作用。企业一定也希望自己能够尽早的触达这些场景。如果数据中台在某个能力点上的复用率很高,应用场景自然也很广泛,那么,这一点的投入在未来带来收益的可能性就更很大。如果是复用率比较低的节点,企业投入就可以少一些。”王磊进一步说道。


他举了个例子,“比如,大多数银行都会对客户资产进行一个评估,这个指标会在不同条件、不同场景下被重复使用。因此,企业可以将这种关键性的指标放在数据中台的建设过程中,从而获得更大的收益。”


总的来说,企业应该通过自身的实践出发,找到具有潜力的业务场景,有针对性地投入资源、费用、人力等成本,才有更大可能从中挖掘价值、创造收益。

让业务人员参与其中


那么,建设完数据中台之后,如何确保它能够发挥最大的价值?这是大部分企业的另一个疑问。


王磊指出:“由于数据和业务之间具有关联性,数据的实际使用是以业务上的定义为前提的,换句话说,数据中台发挥价值的一个重要前提便是——要在业务语义上进行标准化、成体系的管理。”


他拿“客户”一词进行举例,对于不同分行、不同业务线、不同部门而言,这个词的定义、界限、分类可能完全不同。“但如果我们对客户都没有一个明确定义的话,那么客户的价值、客户的资产就不知道应该采用什么样的规则去计算,更不用提让数据能够复用了。这归根到底还是业务口径不一致带来的问题。”


由此可见,数据中台所形成的技术能力实际上是业务能力的体现,业务人员需要参与到整个数据中台的建设过程中,对数据有更好的管控,才能让数据中台更好地赋能于业务场景


然而,业务与技术的鸿沟是天然存在的,这是企业面临的普遍问题,也是决定了数据中台价值能不能有效发挥的关键要素。 “从这两年银行业的实践可以看到,很多银行都在成立独立的数据部门,去负责数据能力建设或者数据中台建设的工作,目的就是拉通业务和技术,通过一种通力协作的方式去重新构建企业能力。具体来说,这个数据部门通常既有传统的 IT 技术能力,又会融合企业的业务能力。”王磊说道。


同样,我们也看到光大银行在数月前的公告中对外公布,银行的组织架构将有所调整,数据资产管理部也会随之建立起来。对此,王磊表示,“我觉得,未来数据资产管理部会在很大程度上推进我们共同去完善数据中台的建设。”


但是,另一个问题是,新技术的应用一定有一个周期。比如,目前还有很多银行的一线业务人员由于缺少对新技术工具的驾驭能力,所以仍旧会使用 Excel 这种非常传统的数据分析工具,进行计算、分析。


这其中既有业务人员思维意识的原因,也有技术本身的原因。“短时间来看,用 Excel 报表确实可以更灵活的完成一些工作。但是毕竟这只是一种轻量级的数据统计分析工具,随着银行数据量级的增长、业务场景的复杂化,像 Excel 这种传统的数据统计分析工具会无法承载。另一方面,由于工具级别的不同,它们处理问题的逻辑也是不一样的,因此,系统对现在的业务支持可能也会存在一些盲点,这会导致一线业务人员不得不用报表去分析业务情况。”王磊表示。


所以,在他看来,业务人员使用数据的能力和技术人员构建的数据平台之间需要一个桥梁,在这个桥梁之上,还需要业务人员和技术人员的共同学习、互相奔赴,努力扩大“共通的意义空间”。只有这样,才能够真正发挥数据中台的价值,才能让数据流向业务、驱动业务、赋能业务。

2022-09-26 11:4410052

评论

发布
暂无评论
发现更多内容

HttpClient使用详解与实战一:普通的GET和POST请求

乌龟哥哥

4月月更

为什么选择学习 Sanic 框架

宇宙之一粟

4月月更 sanic

【PIMF】OpenHarmony啃论文俱乐部——“六脉神剑”详解

离北况归

OpenHarmony Openharmony啃论文俱乐部 六脉神剑

在线CSV转多行数据工具

入门小站

工具

消息队列存储消息数据的 MySQL 表格

AragornYang

架构训练营 架构实战营

王者荣耀商城异地多活架构设计

Fingal

架构实战营

Dio —— Flutter 网络请求之王者

岛上码农

flutter 移动端开发 4月月更 跨平台开发 安卓 ios

EasyRecovery15数据恢复软件

茶色酒

EasyRecovery15

设计消息队列存储消息数据的 MySQL 表格

孙强

架构师实战营

学生管理系统详细架构设计文档

哈喽

「架构实战营」

东方园林召开2022年度全员大会

科技大数据

读《Software Engineering at Google》(07)

术子米德

架构师成长笔记

linux之read命令

入门小站

在线脑图思维导图生成工具

入门小站

工具

Linux驱动开发-内核定时器

DS小龙哥

4月月更

Tuxera NTFS Mac2022磁盘读写工具

茶色酒

Tuxera NTFS Mac2022

咨询公司也要挑客户吗?

秋去冬来春未远

数字化 信息化 客户 咨询

15 张图 | 深入理解 OpenFeign 远程调用的架构原理

悟空聊架构

Feign 4月日更 悟空聊架构 openfeign 4月月更

[Day17]-[动态规划]打家劫舍

方勇(gopher)

LeetCode 数据结构和算法

残酷春天里的中国科技(三):持续缠绕的科技封锁线

脑极体

一文了解异步编程基础

宇宙之一粟

Python 异步编程 4月月更

嵌入式进阶从小白到内核大神学习全攻略(学习路线+学习书籍+练习项目)

简说Linux内核

Linux 驱动开发 嵌入式开发 linux内核、 内核工程师

如何从 Java 的 List 中删除第一个元素

HoneyMoose

关于OpenHarmony3.1,想随便聊一点

坚果

OpenHarmony 4月月更

残酷春天里的中国科技(二):和全球供应链一起“仰卧起坐”

脑极体

泛型真的会让程序变慢吗?(Go1.18新特性)

蔡超

golang 编程 编程、 Go 语言

深入解析JVM-Java对象头组成

janyxe

Java JVM Java内存布局 Java对象头 Java对象组成

下单流程解耦新方案-你知道Spring事件监听机制吗

越长大越悲伤

事件驱动 SpringBoot 2 实战

GitOps的12个痛点

俞凡

DevOps 研发效能 gitops

CNCF生态蓝图的八个领域及路线图概述

穿过生命散发芬芳

4月月更

Android C++系列:C++最佳实践4多重继承与虚继承

轻口味

c++ android 4月月更

光大资深数据架构师:数据中台不是让企业去做不可能的事,而是更快去做眼前的事_架构_阎婷_InfoQ精选文章