数据服务让业务开发更敏捷

2019 年 11 月 29 日

数据服务让业务开发更敏捷

何为数据服务?


通俗来讲就是数据中台在落地实施过程中的一个对外输出数据的环节,将数据服务化后提供给业务系统,将数据生产为一个个数据 API,以更高效的方式提供给业务。


传统业务开发的痛点


数据主要存在于关系型数据库、数据仓库中,而在传统业务开发使用数据的过程中会遇到如下痛点:


一、查询数据成本高


1、部分数据查询需要在调用接口时去计算复杂的业务关系;


二、烟囱式开发成本高


1、增加一个报表,开发时长就需增一周;每次新增一个数据查询需求,意味着需要开发一个新接口,期间还得经历开发、测试、上线等完整流程;


2、存在某些数据各业务线拷贝一份,重复开发功能相同接口,烟囱式开发,无法共享接口服务。


三、维护成本高


1、很多数据查询操作直接调用业务方的接口,需要业务团队开发和维护,而业务快速变更下线接口会导致接口不可用的风险,无法进行统一管理与维护。


四、稳定性风险高


1、接口基本都从业务库查询的数据,计算也在业务库,跟业务生产无关的查询提高了业务库不稳定的风险;


应用开发为什么需要数据中台?因为数据中台能解决这些痛点,让前台开发团队的开发速度不受后台数据开发的影响。


DataSimba——数据服务


针对以上的痛点,DataSimba(奇点云自研的一站式大数据智能服务平台 )提供数据服务来解决上述问题。


1、统一数据源,统一业务认知,解决数据烟囱。一个数据源,通过统一数据接口服务让企业各个层级对同一个问题/业务情况达成统一认知,避免数据烟囱。


2、通过简单数据查询服务、复杂数据查询服务满足客户多样的数据查询需求。


3、提供快捷简单的半自动化创建数据 API 服务的 IDE,对于新手也能在 10 分钟内上线一个数据服务 API。


4、支持企业对数据服务 API 进行统一管理与维护,如对数据服务 API 进行分组、项目/企业级授权、上/下线、API 计量收费等操作。


5、数据的处理和维护全部下沉到 DataSimba,应用服务调用链相比之前更简单清晰,利于后续对业务线统一升级维护。


DataSimba 数据服务体系架构如下图所示:



以下为 DataSimba 半自动化创建数据服务 API 的两种方式:


一、简单数据查询服务 API 的创建流程


1、以【向导模式】新建 API,填入接口的基本信息,含 API 名称、API 路径、协议等。


2、选择数据源,含库类型、库名称、表名称后,系统会自动展示表结构的 Schema 信息,该模式仅支持单表查询。


3、基于表结构勾选出需要的入参及出参字段,并设置好查询条件、是否分页及使用过滤器等选项。


4、点击测试按钮即可对新 API 进行验证,结果符合预期后点击发布,新 API 就正式上线提供服务了。


二、复杂数据查询服务 API 的创建流程


1、以【脚本模式】新建 API,该操作与简单数据查询服务操作一致。


2、先选择数据源,含库类型、库名称后,再编写一条完整的 SQL 语句,支持同一数据源下多张表的关联查询、支持字段别名、SQL 函数等。


3、编写好 SQL 语句后,系统会自动分析出 API 的入参和出参,请对参数信息进行设置如是否分页、使用过滤器等选项,方便 API 调用者。


4、点击测试按钮可对新 API 进行验证,结果符合预期后点击发布,新 API 就正式上线提供服务了。


通过向导/脚本两种模式,可以便捷快速的完成数据服务 API 的创建。另外基于 DataSimba 数据服务的访问控制模块,客户还可以对 API 进行分组、授权、上下线等统一管理。


结语


数据中台离业务最近,能更快地响应业务和应用开发的需求,数据的可追溯性也会更强,更精准。DataSimba 在数据仓库和数据平台的基础上,提供统一的数据查询服务的功能,解决了数据烟囱的问题,让业务开发无需编写代码即可使用数据,进行下一步的业务处理逻辑及展示。支持客户半自动化对数据 API 的创建、管理、访问控制等操作,能简化客户跨项目/跨企业获取数据的成本与时间,提升开发效率,保障项目快速上线,最大化释放数据的价值。


作者:烟火 @奇点云


2019 年 11 月 29 日 14:111685
用户头像
刘燕 InfoQ记者

发布了 470 篇内容, 共 146.9 次阅读, 收获喜欢 830 次。

关注

评论

发布
暂无评论
发现更多内容

第二周总结

qqq

极客大学架构师训练营

当你启动Redis的时候,Redis做了什么

老胡爱分享

redis 源码分析 面试题

【大厂面试06期】谈一谈你对Redis持久化的理解?

NotFound9

数据库 redis 后端

免费下载 | 阿里云实时计算整体解决方案白皮书重磅发布!

Apache Flink

大数据 flink 流计算 实时计算 大数据处理

数仓系列 | 深入解读 Flink 资源管理机制

Apache Flink

大数据 flink 流计算 实时计算

【Week02】框架设计

Aldaron

看清远处模糊的事,不如做好身边清楚的事

Neco.W

创业心态 未知

第二周 作业

尔东雨田

第二周作业

晨光

28岁程序员期权过亿,彪悍从字节退休,网友:酸了酸了!

程序员生活志

程序员 字节跳动 开发 退休

Flink作业问题分析和调优实践

Apache Flink

大数据 flink 流计算 实时计算 大数据处理

课程总结

AIK

20年行业变革与技术演进,当下CDN如何为政企数字化转型加速?

巨侠说

CDN 边缘计算 移动视频

依赖倒置架构

AIK

从字符串到常量池,一文看懂String类设计

程序员DMZ

JVM 常量池 intern

编程这件事

dapaul

架构师训练营第二章 总结

尔东雨田

第二周-总结

JI

极客大学架构师训练营

极客大学架构师训练营 框架设计、设计原则、设计模式 第四课 听课总结

John(易筋)

极客时间 极客大学 极客大学架构师训练营 设计原则 框架设计

第二周作业

Aldaron

第二周总结

晨光

Apache Flink 误用之痛

Apache Flink

大数据 flink 流计算 实时计算 数据处理

设计模式的主要原则

小师妹学JVM之:JDK14中JVM的性能优化

程序那些事

JVM 「Java 25周年」 小师妹 JIT JDK14

架构师训练营 0 期第二周

Blink

如何构建低延时的直播体验,让互动更实时?

巨侠说

CDN 短视频 直播 视频

面向开发者的 WSL2 安装指南

simpleapples

Python golang Windows 10 wsl

第二周-作业

JI

极客大学架构师训练营

《实现领域驱动设计》拆书稿 DDD入门 & 领域、子域和限界上下文

三界

架构 领域驱动设计 DDD

红警1游戏开源,代码非常规范。网友:秀色可餐

程序员生活志

游戏开源 红警1

使用WebMaker快速预览Ionic页面效果

davidce

Ionic WebMaker 混合应用开发

数据服务让业务开发更敏捷-InfoQ