NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

  • 2023-09-11
    北京
  • 本文字数:1535 字

    阅读完需:约 5 分钟

大小:896.81K时长:05:06
中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路

FCon 全球金融科技大会,将于 11 月在上海召开。中国工商银行大数据和人工智能实验室 / 部门经理袁一将发表题为《工商银行大数据平台助力全行数字化转型之路》主题分享,介绍实时数仓技术在工商银行的技术实践及典型案例、在运营大规模大数据集群和大数据平台在实践信创转型时的经验、在向大数据平台云原生架构演进的实践,以及数据洞察平台(EasyDI)的实施。


袁一,从 2011 年开始接触大数据相关技术,从零到一全程参与了工商银行大数据平台的建设,是工商银行大数据技术领域的先行者和技术专家,先后多次在中国信通院、华为金融峰会、Flink Forward Asia 等行业大会上就工行大数据体系的建设发表过公开演讲,发表大数据领域的专利 11 篇。


在最近几年里,持续关注行业新技术的动态,并积极引入新技术,成功落地了多个大型项目,包括主机下平台转型、SAS 国产化转型、实时数仓演进、湖仓一体云原生架构演进等,为工商银行的数字化转型工作提供了持续的持和助力。他在本次会议的演讲内容如下:


演讲:工商银行大数据平台助力全行数字化转型之路


本次演讲,将主要介绍工商银行大数据平台在近几年数字化转型过程中,对大数据平台的使用越来越重,因此立足于解决业务痛点,在近几年里主要推进了如下几项工作:


1、业务侧对数据时效的要求越来越高,原先 T+1 已无法满足,而基于 ORC 文件做定时存增量合并的方式资源开销很大,因此引入了 Flink+Hudi 的实时数仓加工模式,并提炼了设计模式,最终使数据加工时效最快达到了 1 分钟级。同步通过 CDC 技术,将主机或 Oracle 等数据库中产生的数据实时地同步到大数据平台,实现业务下主机。


2、随着实时数仓技术的不断成熟,工商银行大数据平台逐步将所有数据切换成实时入湖的 Hudi 格式,形成了基于 Flink 开发的实时数仓和基于 Spark 开发的离线数仓的两条并行加工链路,两条加工链路之间数据可以共享,无需冗余存储,同时为配合实时数仓链路中 Flink 中所要关联的维表,工商银行大数据平台根据不同的业务场景,建设了关系型、键值型、多维搜索、时序、空间、向量等多种类型的联机数据库。


3、推进大数据平台向存算分离云原生化演进。工商银行大数据平台最大的 Hadoop 集群目前规模近 3000 台物理机,随着集群规模越来越大,在资源隔离、弹性扩缩容等方面的不足越来越明显。因此通过参照互联网企业的做法,开始实践云下存算一体向云原生存算分离架构演进,在此过程中同步推动了数据平台信创转型。


4、建设 EasyDI 平台,在 2022 年面向全集团分析师提供了可视化报表开发工具,使报表开发不再依赖于科技。在 2023 年中通过策略模板中心形成了不同分行、不同部室之间用数模式复用的能力,构建了出生态。同时 2023 年 2 季度起正在研究基于生成式大模型技术实现对话式 BI 用数助理的课题,旨在通过 AI 技术进一步降低用数门槛。


演讲提纲:


  1. 实时数仓技术在工商银行的技术实践及典型案例

  2. 工商银行在运营大规模大数据集群时的若干经验

  3. 工商银行在向大数据平台云原生架构演进的若干实践

  4. 工商银行大数据平台在实践信创转型时的若干经验

  5. 工商银行数据洞察平台(EasyDI)的若干实施


你将获得:


○ 了解到实时数仓技术在工商银行的技术实践及典型案例

○ 了解到工商银行在运营大规模大数据集群时的若干经验

○ 了解到工商银行在向大数据平台云原生架构演进的若干实践

○ 了解到工商银行大数据平台在实践信创转型时的若干经验

○ 了解到工商银行数据洞察平台(EasyDI)的若干实施


除上述演讲外,FCon 上海还将围绕 DevOps 在金融企业落地实践金融行业大模型应用创新的金融科技应用金融实时数据平台建设之路金融安全风险管控数据要素流通与数据合规等进行交流。


FCon 上海 2023,相约 11 月!现在购票,前 100 人可享 5 折特惠购票,咨询购票请联系:17310043226(微信同手机号)。



2023-09-11 11:302278
用户头像

发布了 89 篇内容, 共 43.1 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

JS Array数组几个循环实用方法总结

MegaQi

JavaScrip 测试发开 web前端开发

加密货币监控和区块链分析如何帮助避免加密货币欺诈?

CECBC

一文带你了解 Python 中的迭代器

踏雪痕

Python 3月程序媛福利 3月月更

《LeetCode 刷题报告》题解内容Ⅱ

謓泽

3月月更

OceanBase 开源负责人纪君祥聊 社区版 2022 Roadmap

OceanBase 数据库

oceanbase OceanBase 开源

Tapdata 肖贝贝:实时数据引擎系列(六)-从 PostgreSQL 实时数据集成看增量数据缓存层的必要性

tapdata

数据库 实时数据

春暖花开,等你而来!4月月更挑战开始啦!

InfoQ写作社区官方

热门活动 4月月更

从二十年开源经历出发,70 后大龄程序员谈成长、困境与突围

TDengine

数据库 tdengine 开源

高层次人才一站式服务平台系统开发

a13823115807

深入浅出 Java FileChannel 的堆外内存使用

Apache IoTDB

Rust Cell 与RefCell,有啥区别?

非凸科技

深入垂直业务场景,SaaS版供应商业务协同管理系统促进企业与供应商高效协同

数商云

数字化转型 供应链系统

week4作业

Asha

异构注册中心机制在中国工商银行的探索实践

SOFAStack

GitHub 开源 分布式架构 注册中心 工商银行

基于微信小程序的实验室预约小程序平台详细设计

CC同学

Facebook 开源 Golang 实体框架 Ent 现已支持 TiDB

Geek_2d6073

云时代,租电脑还是初创型企业最好的选择吗?

阿里云弹性计算

远程办公 无影云电脑 初创型企业

墨天轮访谈 | 华为云温云博:从客户视角出发,GaussDB(for Redis)究竟“香”在哪里?

墨天轮

数据库 redis 华为云 国产数据库 键值数据库

“中本聪岛”加密乌托邦

CECBC

如何快速实现持续交付

阿里云云效

云计算 阿里云 软件开发 CI/CD 持续交付

明天直播:如何测试硬件设备与龙蜥操作系统的兼容性?

OpenAnolis小助手

硬件 直播 开源社区 sig 兼容性

区块链架构下 智慧城市发展加速

CECBC

数字医疗时代的数据安全如何保障?

CECBC

叮咚!参与微服务免费试用,有机会获得腾讯内推资格!

InfoQ写作社区官方

腾讯云 微服务 热门活动

华为云GaussDB专家走进课堂,跟莘莘学子聊聊数据库

华为云数据库小助手

GaussDB GaussDB(for openGauss) GaussDB(for MySQL)

360大数据技术专家 程建云:IoTDB在360的落地实践 | Apache IoTDB Talk

Apache IoTDB

时序数据库 IoTDB Apache IoTDB

前端食堂技术周刊第 30 期:Vercel 支持零配置部署使用 pnpm 项目、React 新文档更新、Angular Roadmap、Remix Stacks

童欧巴

JavaScript 编程 前端 周刊 资讯

区块链等技术助力北京海关监管

CECBC

昇思MindSpore行至2022,开源社区成就生态共赢

这不科技

华为 昇思MindSpore

软件定义存储厂商大道云行加入龙蜥社区

OpenAnolis小助手

生态 存储技术 龙蜥社区 大道云行 CLA

VuePress 博客搭建系列 33 篇正式完结!

冴羽

JavaScript Vue 前端 vuepress 博客搭建

中国工商银行大数据和人工智能实验室 / 部门经理袁一确认出席 FCon ,分享工商银行大数据平台助力全行数字化转型之路_银行_徐晓博_InfoQ精选文章