InfoQ Geekathon 大模型技术应用创新大赛 了解详情
写点什么

揭秘宜信财富年度账单的技术实现

  • 2020-02-06
  • 本文字数:1931 字

    阅读完需:约 6 分钟

揭秘宜信财富年度账单的技术实现
1578016849369030244.jpeg

一、背景

年底很多移动产品都会推出自己的年度账单,每年都会引起大众媒体的关注。今年有幸参与了宜信财富 APP 年度账单的开发,本文将带大家探索宜信财富年度账单背后的技术架构和研发逻辑,希望可以给大家带来一些思路上的启发。

二、前端整体架构和执行流程

宜信财富年度账单前端架构所采用的技术栈包括:


  • 前端页面是用 H5 制作;

  • 数据加载进度百分比,技术用到 swiper 插件和一些 CSS3 动效;

  • 海报生成用到了 canvas 图片合成,把海报背景和二维码合二为一。

  • 为了完成 MGM 的追踪,在二维码中嵌入 M1 信息。

三、数据来源和数据处理

本次年度账单涉及客户维度、销售维度、客户标签等数据,其中客户维度包括活动参与、文章、视频浏览等数据。这部分数据的整合来源于数据中台的主题数据。以下是数据中台的架构图:


1578016864267020071.png


  • ODS:数据来源层,存放从业务系统抽取过来的数据,业务系统中的原始数据经过抽取、洗净、传输装入本层。这层数据接近原始数据,却不等同原始数据,数据装入的时候进行了去重、去噪、表命名、字段命名等一系列规范操作。

  • DW:数据仓库层,该层是数据仓库的主体,将 ODS 层的数据按照主题建立数据模型,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,是一个包含所有主题的通用的集合。

  • DM:数据集市层,是以某个业务应用为出发点而生成的字段比较的宽表,用于提供后续的业务查询、OLAP 分析、数据分发等,该层数据主要由轻度汇总层和明细层数据计算生成。


在数据中台的架构上,我们建立了“以客户为中心”的标签体系。该套标签体系按照人口属性、价值指标、地理指标、心理指标等几大类对数据进行分层管理,标签的加工方式主要来源于 DW 和 DM 层数据的轻量汇总或者衍生加工,以及部分模型生成的产品预测等标签。这套标签体系支持 360 度客户画像以及分析关键接触点,提供基于跨渠道全流客户体验优化和关键触点优化。


1578016880403005797.png


本次账单的数据主要来源于业务操作、用户管理等源系统数据,这些数据被结构化地存储在数据库集群中,且都已接入数据中台,并按照定时任务或者实时数据落入对应主题域。账单数据通过其相应主题数据加工而成,前端通过接口 API 访问数据。


账单需求里的“销售评价消息实时推送”和“账单传播短信发送”都是通过智能运营系统支持的,该系统是集运营活动创建、执行、管理、反馈、迭代为一体的自动化平台,能够通过用户属性、标签、计划、操作等数据筛选客群,实现目标的精准触达,提升关键指标和运营效率。


下面是智能运营系统创建运营计划流程图:


1578016886780005336.png


  • 销售评价消息实时推送:该功能依赖 wormhole 实时平台将数据落到数据库,然后在智能运营系统里配置数据,最终通过消息中心和极光将消息推送到产品终端。

  • 账单传播短信发送:按照业务规则筛选符合条件的客群,在智能运营系统里配置短信模板等内容,然后调用 notify 通过短信平台将短信发送给客户。

四、技术后台

用户数据来源于宜信财富平台本身数据,包含:基础信息、浏览信息、参与活动等多项数据,如何保证数据准确、高效地传达到前端是后端开发所必须保障的。资产平台采用了 spring+jersery+oracle+redis+jetCache 的技术架构,为了提升用户体验度,加快响应时间,数据存储上该项目采用了缓存、非关系数据库和传统关系数据库灵活结合的方式,更好地提供数据支撑。


在对接年度账单需求时,我们也着重考虑了接口响应时间。年度账单用户数据包括用户活动数据及操作数据两张表,其中操作数据是一个重量级表格,为了减少数据库的 IO 操作,采用了两种方式来减少 IO 时间:


  • 根据数据组提供的标签,尽量减少访问资产数据表的几率;

  • 利用 java8 的 Stream 的新特性,将复杂的 SQL 逻辑放进代码中进行处理。


Stream 不是集合元素,它不是数据结构并不保存数据,它是有关算法和计算的,更像一个高级版本的 Iterator。


此外 Stream 还提供了并行技术,在不关注集合内部数据顺序的时候,可以采用并行 Stream 拆解任务来加速处理过程。例如在做统计,需要将子产品进行汇总,或其他操作时。


如果将复杂的代码逻辑直接用 SQL 来实现,代码会非常冗长,执行效率也不高。代码的逻辑是使用并行流 Stream,根据类型对相关数据进行分类汇总,并且根据本次需求的业务场景将某一子类划分到另一个类别下。


使用 Stream 并行流代替 SQL 逻辑可以加速执行效率,减少响应时间。感兴趣的同学如果想了解 Stream 的更多特性,可以参考技术文档。Stream 的应用能够让代码逻辑更加清晰,提高速度。

五、总结

此项目是由多个团队共同协作完成,本文对年度账单需求做了一次技术层面的梳理,由于时间比较匆忙,内容不太详细,希望可以给大家带来一些开发思路,也希望用户可以真切感受到我们的用心。识别文末二维码,即可参与年度账单生成。


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/343


活动推荐:

2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。

2020-02-06 10:32643

评论

发布
暂无评论
发现更多内容

更好地解决企业网络安全防护难题,华为云值得信赖

科技怪授

Vue3 如何编写一个插件

程序员海军

Vue3 三周年连更

谈一谈 SAP 企业管理软件里那些真假 Fiori 应用

Jerry Wang

SAP Fiori 企业管理软件 思爱普 三周年连更

华为云等保安全服务,助力企业多快好省过等保

秃头也爱科技

未来技术方向——“乐高式”可组装式开发能力

鲸品堂

技术 科技 组装式创新 企业号 4 月 PK 榜

智慧公厕是什么?智慧公厕在智慧城市中起到什么样的作用?@光明源智慧公厕科技

光明源智慧厕所

智慧城市

实力领先!华为云让网站更安全

科技怪授

升级企业数智化底座,以技术重构企业发展力

用友BIP

技术大会 用友iuap 用友BIP 用友技术大会

集简云软件连接器,实现业务流程自动化

集简云开放平台

低代码开发 低代码平台 数据集成平台

五一临近,赋能乡村振兴,低代码也有话讲!

加入高科技仿生人

低代码 数字化 乡村振兴 乡村旅游

华为云数据灾备,让企业上云更安心

科技怪授

华为云助力龙岗区人才培养生态建设,2023年龙岗产业创新人才双选会圆满落幕

科技说

华为云助力龙岗产业创新人才双选会,为深圳市打造数字经济人才高地

科技说

华为云助力龙岗产业创新人才培养:2023大学生就业创业嘉年华活动圆满落幕

科技说

京东技术专家首推:Spring微服务架构设计,GitHub星标128K

程序知音

Java 微服务 springboot SpringCloud java架构

听说谛听闹退休?感知网络接班啦!

白洞计划

感知网络

架构训练营模块九作业

gigifrog

架构训练营

Postman 如何传递 Date 类型参数

Liam

Java 程序员 后端 Postman

华为云网站安全解决方案,助力游戏行业平台安全

科技怪授

别再只会使用简单的ping命令了,Linux中这些高级ping命令可以提高工作效率!

wljslmz

三周年连更

华为云等保安全解决方案,为你守护网络安全

秃头也爱科技

如何在 Go 中验证一个字符串是否是 URL?

宇宙之一粟

正则表达式 字符串 url Go 语言 三周年连更

HTTP 与 RPC 接口区别

Apifox

网络协议 RPC HTTP RPC调用

Last Week in Milvus

Zilliz

非结构化数据 开源社区 Milvus Zilliz 向量数据库

超级App与新零售:零售品牌如何利用小程序技术掌握未来商业机会?

FinFish

新零售 超级app 小程序技术 小程序容器技术

Spider实战系列-一次真实接单经历让我抓取了某东的数据

浅辄

爬虫 三周年连更

Mysql分页 vs Oracle分页|非常详细,建议收藏

bug菌

MySQL oracle 三周年连更

极客高赞:网络安全为什么缺人?缺什么样的人?

网络安全学海

黑客 网络安全 信息安全 渗透测试 WEB安全

华为云网站安全解决方案加固企业网站安全防护

科技怪授

基于Laravel的模块化开发框架,让Web应用程序开发更快更简单

ModStart

Paimon 专题上线|从 0 到 1 入门新一代流式数据湖存储

Apache Flink

大数据 flink 实时计算

  • 扫码添加小助手
    领取最新资料包
揭秘宜信财富年度账单的技术实现_行业深度_宜信财富管理技术团队_InfoQ精选文章