提前锁票 InfoQ 最具价值感的视频栏目 | InfoQ 大咖说 了解详情
写点什么

陆文佳:数据以简为美

2020 年 11 月 29 日

陆文佳:数据以简为美

开篇


2020 年 9 月 10 日,国际权威媒体《欧洲货币》在其官网揭晓了“2020 年度卓越大奖”评选结果,平安银行荣获“全球最佳数字银行”大奖。今年,平安银行是唯一上榜“2020 年度卓越大奖”的中资金融机构,更是首家荣获“全球最佳数字银行”的中资银行。


数字银行的突破,离不开前沿科技的驱动。平安银行依托人工智能、大数据、云计算等领域的核心技术,不断将新技术深度植入到经营决策和金融服务全流程,实现数字化、智能化业务运营和经营管理。 对于平安银行来说,数据赋能业务的关键在于降低用户使用数据的门槛。


那么如何让用户使用数据变得简单? 平安银行认为首先应当以指标的治理为切入点,因为指标是企业最核心、最重要的数据资产。 通过打造统一的指标访问平台,基于前沿的智能化技术快速整合,展现,治理和共享高价值的指标资产,打破以往“业务提需求,IT 做开发”的被动响应模式,从而让业务方能够主动、快速地找到需要的业务指标,或者基于现有的指标快速派生新的指标。此外,系统还能自动匹配和推送有价值的指标给业务人员,让使用数据变得简单和高效。


指标平台建设目标——简单


为了进一步加强数据治理战略的贯彻和执行,降低用户使用数据的门槛,通过数智化的结构设计,指标平台的建设将有效解决以下三个痛点。


➤ 数据治理痛点


在业务使用数据的过程中,确保数据的完整性、准确性、一致性和时效性,提升业务的使用体验。


➤ 人力成本痛点


在平安银行,仅零售业务就有近 200 名的数据开发和报表开发人员,同时,业务部门大量的“表哥”、“表姐”都用数据做 Excel、汇报或片区的通告,把这些人力从繁琐、重复的工作中解放出来,投入到数据治理和业务创新,是平安银行当下面对的一个重要课题。


➤ 集团数字化战略


在集团推行数字化战略的过程中,内部每个专业子公司也在积极进行数字化战略转型。然而,伴随着每个业务部门都想打造自己的数字化经营平台,源源不断的数据需求给数据部门造成了巨大压力。



平安银行指标平台的建设宗旨是「以简为美」,诚如上图的冰山模型,可以看到「顶层简单」,这里的简单主要分为两个层面。


➤ 简单的需求接入形式


基于指标平台,各业务线数据开发团队的需求接入将变得非常简单。数据开发不用关心维度,只需按规范接入指标,维度关联,衍生指标计算都自动完成。


➤ 丰富低门槛的应用场景


通过模板化、AI 智能化的场景应用,让业务能够以较低的门槛使用平台。例如,以往业务直接使用 BI 平台进行数据分析的门槛和成本很高,通过场景化,卡片式产品设计来降低门槛,业务人员能够轻松使用数据,通过平台自动分析数据,提炼业务问题并做归因,这也是指标平台建设的目标之一。


冰山之下则是强大的技术支撑,完美的产品设计,持续的数据治理和强大的执行力。作为统一的“指标管理”和”指标消费”平台,指标平台致力于为业务方提供一站式数据服务,实践“指标 BI 化”和“指标 AI 化”两大理念:


  • “1 分钟找到数据”:基于关键词搜索快速找到需要的业务指标;

  • “3 分钟创建看板”:仅需 2-3 分钟就能拖拽出美观的数据看板;

  • “5 分钟挖掘价值”:将大量智能化的应用场景融入到指标平台。


以指标 BI 化为例,基于强大的搜索引擎(服务于口袋银行的搜索引擎),业务用户可以通过模糊关键词搜索快速找到需要的指标,同时,只要进行简单可视化的拖拽,就可以快速设计出不同场景的指标看板,相比传统 BI 系统,无须考虑配色、布局,使用门槛很低。



指标 AI 化是指通过平台提升 AI 应用的产能。以智能预警为例,实际场景中不同维度下的预警阈值是不同的,所以针对每个机构、产品、渠道维度都要设置合理的预警阈值,但这却是一件很费人力的工作。同时对于周期类指标,要区分工作日和节假日的阈值,也是让人头疼的事。通过 AI 算法,结合历史指标数据自动计算预警阈值,能够大大节省人力,同时帮助业务方快速发现和定位问题。



指标平台架构设计——智能化、组件化


核心引擎


对于指标平台的技术架构来说,指标加工和查询引擎是核心组件。在引擎选型的过程中,平安银行对比了多种业界主流的计算引擎,包括 Hive,Spark,Impala,Druid,ClickHouse,Flink,Kyligence Enterprise 等, 最终从 Hadoop 生态兼容性、数据量、查询延迟、查询灵活性、QPS 五大方面综合评估(如下图),认为 Kyligence Enterprise 能够满足指标的加工和查询需求,它能够通过分布式的计算和存储进行指标的加工,基于 AI 增强引擎,实现智能化的计算和运维,显著节省人力开发的成本,还能满足跨主题分析的需求。 另外,尤为重要的是,Kyligence Enterprise 有本地化团队提供专业的技术支持和服务。



平台架构



如上图所示,平台架构主要分成几大服务模块。


➤ 指标应用


该模块负责实现指标卡片,指标看板,智能预警,归因分析等 BI+AI 功能;


➤ 构建服务


该模块负责把指标归口到某个模型,并进行数据加工;


➤ 元数据模块


该模块负责管理指标相关的元数据;


➤ 查询服务


该模块不仅是指标平台体系内运用,也可以通过 API 向外输出到全行其他系统;


➤ 监控服务


该模块负责监控构建任务的状态、资源的使用率,以及数据治理等场景支持。


➤ 核心引擎


指标构建和查询的核心引擎就是前文提到的 Kyligence Enterprise 产品。


产品架构



如上图所示,产品架构主要分为需求接入、指标管理和指标应用三层。其中需求接入层非常关键,因为平台建设的目标是为业务需求服务,并最终实现数据需求的全生命周期管理,所以平台建设的要求之一就是能够接入不同的业务需求。例如,当业务方提出需求后,需要哪些指标,哪些是已有的,哪些需要加工的?什么时候能完成加工?什么时候可以上线?这些都通过需求管理模块来进行一站式管理。


经营分析生态



在平安银行经营分析生态架构中,指标平台处于数据枢纽的位置,需要往下整合数仓现有数据并在指标化之后,通过指标平台中进行统一的管理。往上看,指标平台作为数据服务提供方,对接可视化、客群分析、监控预警、指标分析等应用组件,再往上是不同的数据使用场景,能够快速复用不同应用组件,实现敏捷开发,并承担了指标中台的角色。目前,指标平台已接入大量指标,其中大部分是离线指标,很快也会接入实时指标。


指标平台应用效果



指标平台上线两个多月,从 19 年 12 月完成设计,到 20 年 6-7 月上线,整体应用情况如下:


  • 已接入的原子指标超过 500 个

  • 派生指标有 1200 个

  • 在不同粒度下的维度有 550 个

  • 数据看板已超过 400 个


相较传统的报表开发方式,指标平台的整体交付效率至少提升了 250% (如下图所示), 同时,显著提升了集群资源的整体利用率。通过规范的定义和自动化的检测流程,指标平台减少重复性指标的开发,保证指标口径的一致性,使得企业的核心指标得到高度的复用。



其次,指标平台能够增强企业数据治理的能力,以往行内建设的数据资产管理平台,由于和业务脱节,缺少运营意识,时间长了往往沦为摆设。现在指标平台作为中台枢纽,打通了数据和应用,结合日常的运营和治理,能够保障业务方拿到的数据是最新的,口径是最准确的,也是唯一的。


未来的规划和展望


在平安银行看来,中台主要分为业务中台、数据中台和技术中台,中台必须紧密贴合前台。 首先,对于前台来说,“速度”和“成本”是关键,需要中台能够快速响应前台的创新需求。其次,中台要以不变应万变,具备自研、配置化管理、复用三大能力,而从这方面来看,指标平台基本满足以上三项要求,因此也可以认为指标平台是中台级的基础平台建设。



数据治理可以说是一个经久不衰的话题,然而要做好治理,对业务的理解、技术的把握、策略的制定、团队执行力等方面存在着巨大的考验。潘多拉平台切入指标并做场景化的治理,提倡边应用边治理,即在业务人员深入场景应用后,让其在日常工作中无感知地参与到了数据治理的工作中,让数据治理变得持之以恒,真正形成一个应用––治理闭环。


下一阶段,指标平台的主要目标有以下四个:


1. 营造内容生态,从 UCG 升级为 PGC 模式。


  • 让行内其他研发团队可以通过框架化的规范接入自己的卡片或插件,这点之前在机器人的前端卡片场景上有成功案例。

  • 改造原有 BI 工具,利用 BI 工具定制化强的优势,让业务人员或数据开发可以创建出自己的业务场景卡片模版并在平台上做分享。

  • 打通机器学习平台,让算法工程师和分析师可以创造自己的分析或预测类指标、标签(做为维度),进一步拔高平台 AI 能力。


2. 打通业务数据系统,批量引入业务数据,快速扩大平台的数据范围。


  • 打通埋点系统,批量接入埋点数据,让平台具备用户行为分析和系统断点分析的能力。

  • 打通精准营销系统,批量接入营销数据,结合现有 KPI 指标让平台具备分析营销效果闭环的能力。

  • 打通标签系统,批量接入标签做为维度数据,让平台在客群经营分析上赋能业务。


  1. 支持实时指标。随着业务对数据时效性的要求越来越高,在业绩检视、运营分析、资金变动和归因分析等场景上引入实时指标,实现数据边生产边消费的目标。

  2. 强化平台运营。推动业务方,数据开发团队协同配合,持之以恒地对接平台标准,贯彻平台规范,共同完成数据治理。


作者介绍


陆文佳,平安银行数据经营分析和机器人领域负责人


本文转载自公众号金融电子化(ID:fcmag1993)。


原文链接


陆文佳:数据以简为美


2020 年 11 月 29 日 14:06749

评论

发布
暂无评论
发现更多内容

架构师训练营——请简述 CAP 原理

WW

记一次西安thoughtworks的面试经历

xcbeyond

面试 面试经历 thoughtworks

应届生求职面试真的有那么难吗

xcbeyond

面试 应届生

Docker容器中一定要避免的10件事

xcbeyond

Docker 避坑

自从用完Gradle后,有点嫌弃Maven了!速度贼快!

xcbeyond

maven Gradle

第六周总结

Karl

Mybatis二级缓存,你确定要用么?

xcbeyond

mybatis 二级缓存 一级缓存

SpringBoot 使用 jasypt 对配置项进行加密

hungxy

Java springboot jasypt

压测工具

Karl

架构师训练营 -- 第七周学习总结

花花大脸猫

分布式锁用 Redis 还是 Zookeeper?

xcbeyond

redis zookeeper 分布式锁

第七周总结

Karl

写一个 web 性能压测工具

WW

性能测试

满山李子

极客大学架构师训练营

Doris故障处理

Karl

Apache BeanUtils和Spring BeanUtils剖析

Bruce Duan

BeanUtils 浅拷贝和深拷贝

架构师训练营作业 (第七周)

默默

如何保证消息不丢失?处理重复消息?消息有序性?消息堆积处理?

Bruce Duan

消息队列 保证消息不丢失 处理重复消息 消息有序性 消息堆积处理

IDEA 插件: EasyCode 一键生成所需代码

Bruce Duan

idea插件 easycode 生成代码

使用HSDB 查看jvm内存

引花眠

JDK1.8新特性(五):Stream,集合操作利器,让你好用到飞起来

xcbeyond

stream 集合 新特性 JDK1.8

MyBatis几种好用的写法

Bruce Duan

MyBatis标签

技术革新产业变革新动能

CECBC区块链专委会

LeetCode 565. Array Nesting

liu_liu

算法 LeetCode

MinIO 简介和搭建一个对象存储服务

耳东

Minio store Object store

MySQL 大表优化方案

Bruce Duan

MySQL优化

ARTS 05 - 使用 Ecto.Migration 来做数据库迁移

jerry.mei

学习 算法 ARTS 打卡计划 函数式编程 Elixir

week7 总结 性能测试

a晖

LeetCode 144. Binary Tree Preorder Traversal

liu_liu

算法 LeetCode

两个指针缩小范围算法,CQRS 命令查询职责分离模式 John 易筋 ARTS 打卡 Week 09

John(易筋)

ARTS 打卡计划

什么?还没有自己的域名?

北漂码农有话说

打造 VUCA 时代的 10 倍速 IT 团队

打造 VUCA 时代的 10 倍速 IT 团队

陆文佳:数据以简为美-InfoQ