【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

从集中式到分布式,金融企业的后台架构正在发生巨变

  • 2019-08-18
  • 本文字数:6202 字

    阅读完需:约 20 分钟

从集中式到分布式,金融企业的后台架构正在发生巨变

7 月 26 日,微众银行首届 FinTech Day 金融科技开放日在深圳圆满落幕,期间开放平台分论坛针对开放银行战略,发布了一系列金融级实践与应用。


主流银行的转型与开放银行模式的兴起,很大程度上得益于互联网场景的崛起。现阶段主流银行向开放银行模式转型的原因在于供给侧与需求侧两方面的影响。供给侧驱动因素是不断演进的新技术和变化的金融监管,需求侧影响因素是不断变化的企业与消费者偏好。本文将从银行转型的角度,为大家剖析主流商业银行转型“开放银行”的时代特点。


开放银行,近两年已经逐渐成为国内银行发展以及转型的主要方向。说起开放银行,就不得不提一句为什么国内商业银行纷纷拥抱开放银行模式呢?转型“开放银行”代表着什么?这一切还要从国内主流商业银行自身的业务演进历程说起。


国内开放银行模式的演进历程,恰好可以对应:网点经济-App 经济-API 经济的演进过程。开放银行模式要求商业银行在更高层次与合作伙伴共享数据、共生共赢,有利于重构核心竞争力。开放银行模式在国内于 2018 年开始正式兴起,虽然目前为止国内银行也在积极推动开放银行的战略进程,如浦发、招商、工商、建设银行等诸多国内商业银行也纷纷推出开放银行的相关战略和产品。但是发展也面临诸多挑战,数据割裂、安全风险更加复杂、人才队伍建设落后等问题突出,尽管开放银行的发展路上铺满荆棘,但开放银行模式已是全球银行所承认的未来大势所趋。


对此,InfoQ 采访到了微众银行开放平台研发负责人谢鹏,他提到开放银行的能力要求:敏捷、低成本、支持高并发。


如今,各家银行已进入“开放银行”的快车道,各大国有银行、股份制银行等都在积极布局开放银行,这也成为银行综合实力的全面比拼。不过,开放银行的能力建设过程也不能一蹴而就,无论是架构、组织、文化,还是获客、运营、风控、科技等能力,都因开放银行价值链的重构和商业模式的重塑而有了全新的要求。


开放程度的提高将为银行带来更多的应用场景,随之而来的是业务规模的扩大,如客户量、交易量、交易峰值的提高;而健康的普惠金融模式则要求银行具备可持续的商业模式,除去规模之外,还需要注重成本效益。因此,敏捷的产品能力、较低的业务开展成本及可支持高并发交易量及客户规模的科技能力,成为了开放银行的基础能力要求。


过去银行等大型金融机构使用的都是集中化运维,即 90%的服务都跑在企业级大型主机上,但这就会有金融自主不可控的情况出现。从服务器到系统到数据库,银行金融的敏捷性和自主可控性全部丧失。国家安全是基于金融安全的基础上,而金融安全是基于金融自主可控的情况下,金融安全不能全部架构在国外的系统层面上。这就是为什么近年来,银行一直在强调技术自主可控的原因。


但是,喊口号容易,做起来却十分困难。


从大而全的单体应用,到剥离管理功能的交易处理系统-瘦核心,如今,互联网场景金融对银行业又提出了新的挑战。即便是银行机构的外围功能运行在开放平台或分布式架构上,但最核心的账务系统仍然跑在原有的大机上,这是当前银行业大部分的形态。但是在互联网时代,互联网业务所带来的压力不是当前传统金融架构所能承担的,产品差异性、实时性、敏捷性、可扩展性的需求比以往来得更加迫切。


伴随现代银行业的发展,新技术在商业银行各个层面发挥的作用越来越突出,并且深刻影响着银行的内部架构与外部环境。从技术和业务两个层面出发,越来越多的银行开始关注战略与细节层面的开放合作问题。


微众银行基于开放银行以及国内传统银行的现状特点,提出了开放银行“3O”体系,即开放平台、开放创新以及开放协作。这三者相互递进且支持,通过开放平台向合作伙伴共享数据模型与算法;通过开放创新让分布式商业合作伙伴共享科技创新成果,降低合作门槛;进而引入开放协作,引导合作伙伴共建分布式商业基础设施并孵化出更多的创新商业模式,让企业在细分领域内成长得更加成熟。

那,什么是开放平台?

开放平台作为微众银行践行开放银行“3O”体系的重要组成部分,作为微众银行实施开放银行战略的重要载体,微众银行分布式商业开放平台,致力于通过技术共享为合作伙伴嵌入式场景金融服务提供支持。


以开放技术为手段,以数据共享为本质,以平台合作为模式的一个开放银行平台,起到连接商业生态和传统银行作为后端的功能。


那么,微众为什么要做开放平台?做开放平台的意义在哪里?这一切,都能从微众银行开放平台在 7 月 26 日微众银行 FinTech Day 上所发布的技术应用与案例的矩阵中得以看出。

敏捷的架构与技术是开放银行的基础设施

在微众银行看来,未来开放银行一定是有三方参与的多生态合作体系。三方分别为商业端、银行端以及中间平台。


商业端是指像微信、人人车等这些存在既有客户、成熟场景、自带流量的商业体系;然而银行是一定要依靠合作伙伴来共建商业生态的,传统银行通过提供账户管理服务、支付服务、信贷服务等接入到生态中来;中间则需要平台来连接商业和银行,为什么要有平台?因为商业端和银行端很难直接连接,需要有开放银行平台来做获客导流、数据共享以及连接服务。


这个平台绝对不是为某个公司所拥有的。任何一个平台都不可能是集中式,而一定是分布式以及权益对等的产物,所以微众才将其称之为开放银行平台。


微众银行认为,成功转型开放银行,存在以下 3 点标准:


  • 以开放技术为手段,之前的 API Banking 就是银行提供 API,让合作伙伴来连接银行;

  • 开放平台的本质是数据共享,银行能够将支付信息、储蓄信息共享给合作伙伴,同样商业生态也可将用户行为数据、流量入口共享给银行端;

  • 最终以平台合作为模式,商业端不可能自己开银行,银行也不能独立构建商业生态,因此中间一定需要平台来连接,就是平常所说的场景金融。银行不再是一个场所,而是提供某种服务,用户在哪里,银行的服务就在哪里。


为践行开放银行的 3O 体系,贯彻以开放技术为手段,以数据共享为本质,以平台合作为模式的理念,在前不久刚刚结束的微众银行首届 FinTech Day 金融科技开放日的开放平台分论坛上,微众银行发布了 4 款致力于解决“技术实现难“的工具。


在开放银行层面,有微核心的架构理念,和 WeCube 分布式架构管理框架;数据共享层面,有大数据平台 WeDataSphere,区块链和联邦学习在一定层面上也是数据共享范畴的,因为需要和他人合作,所以更加需要微众银行 FinTech Sandbox 金融科技沙盒。

开放平台,是开放银行战略的基础设施提供者

微核心-微众分布式银行核心系统的设计理念

微核心不是微众银行设计出来的,而是经过过去 5 年微众在分布式银行核心系统中实践并提炼出来的理念,这个形态告诉我们它才是互联网银行核心系统的最佳实践。


说起微核心,就要从银行的发展历程来说起。为了适应互联网的特性,以及金融自主可控的目标,银行核心系统的转型已是箭在弦上,不得不发。


什么是银行核心系统?银行核心系统就是一个银行运作的灵魂。特点是集中和实时,集中是绝大多数的业务最终都要集中到这个核心系统来处理;实时性则是指账户之间的金额流通要确保实时。本质上银行核心系统是一个全银行最核心的集中且实时处理银行交易流水的账务系统。想要做互联网银行业务,就必须要低成本、高敏捷和可组合,这就是建立分布式核心的原因。


银行的核心业务系统一直在变,从传统集中式核心——瘦核心——分布式核心(微核心),其系统一直在瘦身。分布式核心具有金融服务级系统功能的分布式、基于 X86 平台系统处理能力的分布式以及基于产品特性的多核心分布式,这三个特点。


X86 相较于过往银行所使用的服务器,稳定性并不够强。那么如何在一款不稳定的平台上搭建出一款稳定的核心系统呢?微核心就承载着这样的使命。作为微众分布式银行核心系统的设计理念,微核心通过类似于微服务的技术,通过不同的编排和组合支撑产品的创新及业务的拓宽,相较于平常 X86 的 98% 的稳定性,微众银行已经做到了 99.99% 的 4 个 9 稳定性。


微核心是基于微众自身创新业务的实践,总结出的分布式核心系统建设理念。其有别与主流银行核心的中心化,旨在为适配互联网业务提供创新的银行 IT 架构方案。有了银行分布式核心系统,后台的处理框架自然也需要进化成分布式架构。随着 IT 系统从最初的单机部署逐渐演进到大型分布式架构,如今,越来越多的企业级应用在向分布式架构转变。相比集中式应用,分布式架构在大并发、高可用、易扩展等方面有着先天的优势,但因其极高管理难度仍让很多企业望而却步。

WeCube–分布式架构管理框架

如何高效运营管理一套完整的分布式银行核心系统?这就是为什么要做 WeCube 的初衷,本着以分布式架构管理回归简单为愿景,WeCube 本质上是一套开放、开源的分布式架构管理框架,对于大部分用户来说,WeCube 是一套包含分布式架构管理领域最佳实践的一站式管理平台。


参照 IT 系统生命周期管理过程,WeCube 通过定义“六个维度(任务、设计、执行、监测、智慧、调整)+一个核心(协同)”的框架体系,并使用插件的形式不断迭代构建功能组件,扩展 WeCube 的管理边界。比如封装腾讯云、亚马逊云资源管理的云资源管理插件,封装 Salttack、Ansible 的部署管理插件,封装 Prometheus、Zabbix 的监控服务插件,等等。


WeCube 通过扩展性可以建立完善的功能体系,形成强大的躯体,但积累分布式架构管理的经验仍是一个痛苦、漫长的过程,而这些经验才是 WeCube 的灵魂。为了解决这个难题,WeCube 使用插件初始化的方式将分布式架构管理的最佳实践注入平台,最终赋予 WeCube 灵魂。比如 CMDB 模型、应用部署的编排流程、技术平台的监控维度,等等。


WeCube 的“协同”核心,就是借助工作流引擎的能力,简洁高效的将六个维度的插件整合在一起协同工作,形成一个个完备的整体能力,减少人工节点。最终的目标,就是打造一套如 Eclipse 一样开箱即用的分布式架构管理平台。


WeCube 作为一款分布式架构管理框架,并非专用于分布式架构,但是更加适用于分布式架构。但是这种分布式架构,往往会使各个服务以及数据之间的联系出现问题,数据孤岛、数据共享困难等问题接踵而至,因此就需要一套完整的大数据平台管理套件,来解决数据间的互通连接问题。

WeDataSphere–一站式金融级开源开放大数据平台套件,经纬双向连接打通,让大数据变得更容易

微众开放银行以数据驱动为基础,因此更需要解决数据挑战、释放数据价值的技术。怎么能够更轻松的构建起一套,满足庞大复杂的数据传输、存储、计算、展现利用等需求的数据平台,怎样让数据的分析挖掘利用变得更简单,这就是微众大数据平台套件 WeDataSphere 诞生的原因。


微众银行大数据平台负责人邸帅提到,当前市面上有太多的大数据组件,然而各组件之间往往互相割裂形成孤岛。南北方向的上层工具、应用组件和下层计算存储引擎间,及东西方向的各种功能工具系统之间,没有一套好的连接打通方案。每一个上层工具、应用组件,都要独立、重复的实现与下层不同计算存储引擎的对接连通,其中有大量重复的工作和同样的管控、治理需求考量。且各个上层工具、应用组件之间相互割裂,用户开发产生的程序、数据,和对后台计算存储引擎的连接会话等资源,无法方便的跨工具、应用组件间统一复用和管控。导致使整个数据平台建设和运营的效率无法最大化。


这就是 WeDataSphere 大数据平台套件本次开源的数据中间件:Linkis 所要解决的问题。Linkis 重新定义了数据平台“连接”层的问题和解决方案,可轻松解决前台各种工具、应用,和后台各种计算存储引擎间的连接简化、复用问题,同时提供多租户隔离、权限/资源管控、弹性扩缩容等企业级特性。通过使用 Scala+Java 灵活高效的开发语言,基于全微服务容器化的去中心化特性,具备多级异步调用线程池支持高性能高并发等技术特点。


WeDataSphere 大数据平台套件本次开源的另一个组件:Scriptis,是一款基于 Linkis 快速构建的企业级数据探索分析工具。Scriptis 在 Linkis


之上,构建了诸如脚本编辑、数据库表管理、管理台、交互式查询分析等前端业务功能模块。并可通过 Iframe 灵活对接多个前台应用工具互相打通,如可视化工具,工作流调度工具等。


Scriptis 的工作过程:通过 WebSocket 或 HTTP 接口,向 Linkis 的 Gateway 发送 Job 请求;通过前端传入的 job 类型参数,会确认 job 请求要提交到的作业入口,然后选择与之对应类型的引擎来执行任务;引擎在实际执行 Job 过程的中,会实时通过 RPC 将 Job 信息(状态、进度和日志)向作业入口进行推送,并在 Scriptis 前端实时展示;引擎执行完 Job 后,会将结果数据写到持久化的存储(HDFS/LOCAL),并通知 Scriptis 前端到持久化存储读取结果数据展示给用户。


同时因为连接层复用了 Linkis 数据中间件,Scriptis 原生就具备了 Linkis 提供的灵活对接多种语言、引擎,敏捷快速返回执行结果,多活、高并发架构支持,权限资源界面化管控等特性,快速的形成了一套企业级数据探索分析工具能力。


拥有了上述的三个能力,作为开放平台,自然需要平台来供开发者及合作伙伴来试用体验,微众金融科技沙盒 Sandbox 就提供了这样一个场景。

微众银行金融科技沙盒 - 体验微众开箱即用的科技能力

银行业自监管沙盒推出以来,许多银行也纷纷推出自己的沙盒。主流银行在 Sandbox 的应用上以测试环境存在,主要以 API Banking 的方式接入,实质上只是单一银行的服务渠道开放,场景受限于银行自身本体。


微众的金融科技沙盒又有什么不同?对此,微众银行开放平台交付负责人杨启城进行了全面的描述:相较于国内传统主流银行,微众银行的最大特点就是无网点、只在互联网运营,因此微众更多是以科技推动业务。经过过去几年的成长,微众已然形成一种特有的科技理念和能力。在微众银行开放银行 3O 体系战略的大背景下,微众银行除开放业务 API 以外,科技能力也在对外分享,授人以鱼不如授人以渔,微众的 FinTech Sandbox 就是一个承载微众金融科技应用实例的体验平台,并且支持合作伙伴基于微众定义的标准 API 来对相关解决方案进行扩展,最终形成自己的技术能力。


在采访时,记者注意到微众金融科技沙盒中多次提到了“参考实现”这个词,那么什么是参考实现,对于微众银行有怎样的意义?对此,杨启城提到,参考实现即 RI,Reference Implementation。其意思是微众通过精选自身部分最具价值的科技能力,经过加工打磨后,配上标准 API,从而形成独立、可快速复制和自定义扩展的业务应用。


届时所有的用户都可通过 Sandbox 对 RI 进行体验和试用,也可通过其 RI 的配套 API 进行业务功能扩展开发。所有基于 API 开发的 RI 周边应用,最终都可以被纳入到微众 RI 应用货架。这就好比目前的智能手机生态,微众提供核心部件,并以此吸引合作伙伴建设周边,最终丰富整个金融科技生态

引发了关于回归『简单』的溯源,在数据驱动的未来拔得头筹

通过将开放平台的一系列核心能力都开放出来,诠释了微众银行践行开放银行 3O 体系的理念。让银行变得更加智能,让银行服务通过技术的形式隐藏在人们的生活场景中,客户在哪,银行服务就在哪。


最后引用微众银行副行长兼首席信息官马智涛在回答 InfoQ 记者采访时所提到的一句话:目前中国金融行业对于技术的投入程度不够,需要有人带头将能力释放出来。总要有人做这个事,微众银行既然具备这些条件,为何不贡献出来?企业与企业之间的合作也需要共同语言,希望用这些开源的能力推动行业事实标准的制定,降低企业合作的门槛。无论是分布式架构、大数据、还是核心服务系统,都是让技术回归简单,开源并普惠更多企业。


(本文经由微众银行杨启城、谢鹏、刘超、邸帅提供资料与校正)


2019-08-18 11:0513150
用户头像
佘磊 策划编辑

发布了 50 篇内容, 共 20.2 次阅读, 收获喜欢 76 次。

关注

评论

发布
暂无评论
发现更多内容

GPS原始坐标转百度地图坐标(纯C代码)

DS小龙哥

7月月更

ID生成器

ES_her0

7月月更

NFT市场格局仍未变化,Okaleido能否掀起新一轮波澜?

西柚子

3大类15小类前端代码规范,让团队代码统一规范起来!

南极一块修炼千年的大冰块

7月月更

工作流引擎在vivo营销自动化中的应用实践 | 引擎篇03

vivo互联网技术

工作流引擎 workflow Activiti 流程引擎

采用Dubbo?还是Spring Cloud?

博文视点Broadview

CRMEB 多商户这些功能,你都用过吗?

CRMEB

OpenHarmony littlefs文件系统存储结构与IO性能优化分析

OpenHarmony开发者

OpenHarmony

中原银行代码智能重构实践

中原银行

生产力 插件 代码重构 中原银行 智能重构

【LeetCode】 数组嵌套Java题解

Albert

LeetCode 7月月更

EMQ宣布赞助Erlang生态系统基金会(EEF),加速推动Erlang技术在全球的蓬勃发展

EMQ映云科技

erlang 物联网 IoT emqx 7月月更

strlen()

謓泽

7月月更

去哪儿旅行海量指标数据采集与存储

Qunar技术沙龙

如何判断透明LED显示屏质量优劣

Dylan

LED显示屏 led显示屏厂家

重新认识生命世界,也重新认识我们自己

图灵教育

科普

mysql进阶(九)多表查询

No Silver Bullet

MySQL 多表查询 7月月更

QComboBox 样式表

小肉球

qt 7月月更

Qt | Qt Creator功能

YOLO.

qt 7月月更

ppdai站点登录参数加密解析,最短的文章,最棒的案例 com

梦想橡皮擦

Python 爬虫 7月月更

语音质量监控

Damon

7月月更

presto+yanagishima环境安装

怀瑾握瑜的嘉与嘉

presto 7月月更

静态成员函数访问非静态数据成员【C++】

攻城狮杰森

c++ 7月月更

Qt|使用Http通讯下载文件

中国好公民st

HTTP qt 7月月更

零信任架构的实施规划——针对联邦系统管理员的规划指南

权说安全

CSS重复线性渐变之画格子

南城FE

CSS 前端 7月月更

面试突击66:请求转发和请求重定向有什么区别?

王磊

Java面试题

java零基础入门-File类(概念篇)

喵手

Java 7月月更

LeetCode-104. 二叉树的最大深度(java)

bug菌

Leet Code 7月月更

直播系统源码——短视频直播系统源码

开源直播系统源码

软件开发 直播系统 开源源码 短视频直播源码

C# 使用ListView控件实现文件查看大图标小图标,详细信息效果。

IC00

C# 7月月更

Kubernetes资源编排系列之二: Helm篇

阿里云大数据AI技术

运维

从集中式到分布式,金融企业的后台架构正在发生巨变_软件工程_佘磊_InfoQ精选文章