AIGC在金融场景是如何落地的? 了解详情
写点什么

敏捷大数据,了解一下

  • 2020-02-14
  • 本文字数:1891 字

    阅读完需:约 6 分钟

敏捷大数据,了解一下

敏捷大数据,即在敏捷理念原则指导下,构建出一系列通用平台工具,和一整套大数据应用全生命周期方法学,以支撑更轻量、更灵活、更低门槛的大数据实践。本文从理论层面整体解释我们所理解的“敏捷大数据”。

一、敏捷大数据的理念原则

1. 组件化/平台化/产品化/本地化


组件化/平台化:通过对大数据处理链路进行模块化抽象,形成多个功能高度內聚的组件化平台;组件化平台既可独立与已有平台组件整合使用, 也可组合起来以解决更多不同链路上的问题。


产品化/本地化:通过组合不同的组件化平台,加上抽象萃取过的业务逻辑模型和规则算法模型,可以很容易构建特定业务领域的产品化解决方案;解决方案产品实际落地时可进行本地化处理,主要包括数据模型适配/规则集引入/算法模型参数调整等。


2. 统一化/开放化/管控化


统一化旨在简化系统复杂度,提高管控能力;开放化旨在增强适应度,提高灵活性;两者相辅相成,需要找到一个合理的平衡点,且不失整体的管控性。


3. 标准化/接口化/配置化/可视化


标准化/接口化:在大数据处理链路中,形成一系列标准化协议,包括数据命名空间协议/元数据和数据类型规范协议/数据访问接口协议/查询语言协议/数据传输协议/数据安全协议等;以服务接口和队列接口方式提供系统间交互。


配置化/可视化:以配置化和可视化方式提供人机交互。


4. 自助化/自动化/智能化


现代数据应用要求能力输出,让领域用户在受管控的环境中,可以更加自助化的使用平台和数据实现业务需求;自助化的常规操作可以以自动化方式更好支持;自助化的洞察分析可以以智能化方式更好支持。


5. 引擎驱动化(事件引擎/动作引擎/规则引擎)


通过引入高级引擎驱动能力,使得敏捷大数据应用可以更加迅捷、灵动、主动的触达外部受众,这时大数据应用本身已经成为强大的业务驱动引擎。

二、可以抽象出的通用平台工具

以企业级实时数据平台为例,我们在敏捷大数据理念原则的指导下,对实时数据平台整体端到端进行了模块化切分,并形成一系列标准化协议,最后以统一开放的原则确定了要开发哪些通用平台工具及其边界和接口规范。


1530503601547097197.png


上图是实时数据平台的概念模块架构图,在后续文章中我们会以实时数据平台为切入点,详细阐述衍生出的通用平台工具的抽象概念和架构设计。

三、贯穿大数据应用全生命周期

1. 需求分析验证阶段


在需求分析阶段,我们需要有能力可以快速开发数据应用原型 POC,并且在验证有效后能够快速迭代以尽早覆盖所有需求点。


敏捷大数据的平台化/配置化/可视化等能力能够支持业务开发人员通过配置和可视化方式快速地进行需求迭代验证。业务开发人员只需要关注业务问题本身,无须过多关注大数据技术问题。


2. 架构设计选型阶段


在实际存储和计算引擎选型过程中,要考虑很多很多因素,除了满足 SLA 和数据规模等要求,还不得不受到开源技术选型的种种限制和问题。


敏捷大数据的标准化/接口化/统一化/开放化等能力提供了一套架构选型的最佳实践,既极大的减少了系统设计的复杂性,屏蔽了开源技术不兼容的问题,也能够支持选择不同存储和计算引擎的灵活性。


3. 实施测试调优阶段


大数据定制化开发的实施测试和调优往往是件很耗时耗力的工作,并且随着处理链路的变长和技术选型的多样性,更加增加了测试调优的复杂度。


敏捷大数据的平台化/接口化/配置化/可视化/统一化/管控化等能力可以让实施测试调优的过程变成只需进行可视化配置/实验/验证的迭代过程,数据处理链路过长问题被配置化/可视化屏蔽,技术选型过多问题被统一化/管控化屏蔽。


4. 上线部署迁移阶段


大数据定制化开发的上线部署迁移往往步骤繁杂,容易出错,即使可以以脚本方式支持,也可能由于不统一和不直观带来潜在问题。 敏捷大数据的平台化/配置化/可视化/统一化/管控化/自助化等能力可以让上线部署迁移更加简单,这些都得益于平台的统一化能力,并且这些能力以自助的方式开放给用户。


5. 管理运维监控阶段


管理运维监控在企业中往往是统一归集管控的,敏捷大数据的平台化/管控化/自助化等也提供了相应的能力,此外,还可以提供自动化/智能化等能力进一步降低运维工作量;同时也可以通过接口化能力与环境已有监控运维系统集成。

四、践行敏捷大数据实践

1530503618317030752.png


上图即为我们所总结的敏捷大数据各个组件的关系:


敏捷大数据理念+敏捷大数据平台栈+敏捷大数据方法学 → 敏捷大数据实践


本文给出了“敏捷大数据”的定义,以及敏捷大数据理念,并且简要描述了基于这套理念之上如何构建平台栈和如何实践方法学。在后续的文章中,我们会围绕具体的敏捷大数据实践经验详细展开我们的敏捷大数据之旅。


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/152


2020-02-14 10:29596

评论

发布
暂无评论
发现更多内容

行业分析| 智能安防的发展

anyRTC开发者

人工智能 AI 音视频 安防 快对讲

Apipost 多人多角色实时协作 爆赞!!!

Xd

数据库 后端 接口测试 API

乌卡时代来临,企业供应链管理体系的应对策略

数商云

数字化转型 供应链

【云管理】企业多元化私有云设施管理用什么软件好?

行云管家

云计算 私有云 IT运维 云管理

在RPA立项阶段,银行需要做哪三件事?

易观分析

银行

喜讯|旺链科技成为TBI数字藏品项目组首批成员

旺链科技

区块链 产业区块链 数字藏品

网络空间测绘国内外发展及现状

郑州埃文科技

网络安全 IP地址 网络空间测绘技术

分享ApiPost的个人体验感受

Xd

后端 API

两分钟带你体验ApiPost的魅力!

Xd

自动化 接口测试 API

原生即时通讯APP四合一成品聊天软件源码搭建个性化需求定制开发

WorkPlus

大数据培训 | Doris数据导入与导出

@零度

Doris 大数据开发

TiDBv6.0与TiDBv5.1.2 TiKV 节点重启后 leader 平衡加速,提升业务恢复速度对比测试

TiDB 社区干货传送门

用开源github,还是咱中国自己的代码托管平台云效?

阿里云云效

GitHub 云计算 阿里云 代码管理 代码托管

消灭非稳态噪音的利器 - AI 降噪

ZEGO即构

RTC AI降噪 网络降噪

王者荣耀商城异地多活架构设计

哈喽

「架构实战营」

未来3年,远程办公或成普遍现象,如何提高远程办公效率?

WorkPlus

在线HTML转PHP工具

入门小站

工具

月薪 30K 以上的程序员都在学啥?附书单合集

C++后台开发

后端开发 Linux服务器开发 C++后台开发 Linux后台开发 后端开发书籍

JavaScript this全解析

源字节1号

软件开发 前端开发 后端开发 小程序开发

等保测评师是做什么的?工资怎么样?

行云管家

网络安全 IT运维 等保测评 等保测评师

如何挑选文档管理软件?

小炮

文档管理

java培训 | Mybatis 中的 PreparedStatement 预编译

@零度

mybatis JAVA开发

Apipost 6.0.4版本 支持离线使用

Xd

后端 接口测试 API

在线二进制转文本字符工具

入门小站

工具

他做了跟世界首富同样的选择|ONES 人物

万事ONES

linux之xargs使用技巧

入门小站

Linux

深度学习利器之GPU

AIWeker

人工智能 深度学习 gpu 5月月更

leetcode 34. Find First and Last Position of Element in Sorted Array 在排序数组中查找元素的第一个和最后一个位置(中等)

okokabcd

LeetCode 查找

EAM与ERP有什么区别?

低代码小观

资产管理 企业管理系统 ERP CRM系统 ERP系统

50万条数据 深挖四川数字经济“发展密码”:四川数字经济发展分析

易观分析

数字经济

数仓血缘关系数据的存储与读写

NebulaGraph

图数据库 知识图谱 Nebula Graph

  • 扫码添加小助手
    领取最新资料包
敏捷大数据,了解一下_文化 & 方法_卢山巍_InfoQ精选文章