对中国开发者最具吸引力的科技企业有哪些?快来为你 pick 的企业投票! 了解详情
写点什么

快看漫画屈世超:中小公司也可建设小而美的数据中台

2020 年 10 月 29 日

快看漫画屈世超:中小公司也可建设小而美的数据中台

之前听过不少公司分享数据中台建设的话题,从数据中台到算法中台、再到 AI 中台等等,在特定的业务场景下对特定功能进行复用。我们听到的更多的是大公司的实践,其实中台不仅仅是大公司的玩具,中小企业也有根据自身需求建设数据中台的诉求。


在策划中台建设专题的之初,我就想邀请业界中小型企业来讲讲自身的中台搭建过程,也许他们没有足够的研发人员,也许他们没有太多的业务线,但是中台思路一定是适合他们的业务发展的。而这样的内容更符合同体量的公司参考样本。


很快,快看漫画进入了我的视野,并邀请快看漫画产品研发部/数据开发负责人屈世超老师来 QCon 会议上演讲,也借此机会采访了数据中台等相关的问题。


屈老师在快看漫画工作 4 年多,一直与数据打交道,在这几年亲历了快看漫画数据平台、数据处理技术随着业务发展,走过的 3 个阶段。第一阶段是数据开发起步期,快看漫画基于云厂商的大数据托管集群进行数据部署,其特点是工具受限,平台会遇到性能和稳定性问题;第二阶段是自建数据平台阶段,快看漫画基于高性能云物理机搭建 CDH 集群,支撑各个业务的数据需求;第三阶段是数据中台化,也是现阶段正在做的演进,其特点是业务线数量和业务需求陡增,要求数据平台能高效支持业务的规模化扩张。


快看的业务有自身的特点,这种特点反馈到技术上,也是很直观的。


快看漫画的六条业务线在需求层面、后端和存储技术上选型上存在较大差异。例如,有的业务线需要采集 Nginx 原始日志,有的业务线需要采集落地的业务日志,有的业务后端甚至自建了 ELK 系统。在每个业务线的数据开发中,需要从业务需求出发,兼容后端和存储技术,灵活选用开源技术方案。当然,技术和框架的多样性,给数据开发带来学习成本和切换成本,会降低开发效率。


什么情况下需要建设数据中台?

实际上,当需要大规模的数据应用时 (搜索 / 推荐 /BI 报表…),才需要构建数据中台。因为建设数据中台的投入太大了。快看漫画是如何定义数据中台的呢?


屈世超说,数据中台,区别于前台和后台。前台是具体需求的呈现样式,后台是底层数据能力和平台工具,而中台则对底层数据能力和平台工具做一定程度的模块化,提供便捷的通用接口或能力,从而支撑业务的快速规模化扩张。


除了完善的底层数据和平台工具,数据中台还需要具备通用、易用的特性,要求技术团队基于多个业务抽象出公共的基础需求模块,并设计和落地能够承接业务应用的接口和功能。


一般来说,中台承接的业务量都会比较大,一是业务线数量多,二是每个业务的规模也较大。


快看漫画小而美的数据中台

为了让精细化运营能够高频的迭代,快速地利用底层大数据的支持,这就需要数据中台提供强有力的支持。既然要基于业务需求迭代开发一套小而美的数据中台方案,那如何规划数据中台架构?快看漫画的数据中台打通了全数据流程。包括:数据采集和同步、自助数仓建模和 ETL、离线调度管理、实时任务一体式管理、BI 可视化和自助查询分析,以及数据的治理体系。


  • 在数据总线模块,Web 化管理配置,兼容多种数据源,统一接入规范,集成元数据管理、调度和实时任务管理系统;

  • 在自助数仓建设模块,Web 化便捷配置,集成调度,简化 ETL 上手开发成本;

  • 在实时任务管理模块,同样通过 Web 后台集成任务部署、管理、监控功能;


小而美的数据中台,“小”和“美”各体现在哪些方面?屈老师介绍说,”小“指的是轻快,快看漫画的目标是用最小的开发成本,搭建起最高效复用的中台系统;”美“指的设计优雅,简单即美,用 Web 化来搭建起最简化步骤的开发流程。


在整个数据中台化过程中,存在很多痛点,正如屈老师所说,推动数据中台化主要有两方面的压力,一是平衡业务数据开发需求和中台化建设开发的优先级;二是跳出数据开发视角去全局思考跨业务的开发机制。


在中台建设中,技术选型和工具使用上也有一些经验分享给大家。大数据领域,大家普遍会遇到的一个问题是:为了解决不同场景的采集、ETL、分析可视化需求,需要使用不同的开源框架,导致各种开源框架林立,增加了维护和迁移成本。基于开源框架,快看漫画的中台建设主要做了上层封装、统一使用流程和规范,提升易用性。


技术团队封装统一了数据总线、ETL 开发和调度模块、OLAP 分析模块、数据查询模块。目标是让各个模块连通形成闭环,并提升整体的易用性和使用效率。


快看漫画数据中台的具体实践

数据中台需求源于业务,也实践于业务开发。快看漫画的中台实践主要分为两个阶段。


第一阶段,由于业务扩张、运营精细化导致数据需求极速增多,在开发效率和数据复用上存在较多问题,快看漫画研发团队开始了数据中台化的调研和建设,这个阶段的工作内容以需求收集归类、抽象为主,逐渐演化出了当前的数据中台架构;


第二阶段,主要是做中台模块化的拆解开发和推广应用,这个阶段要注意两个陷阱,一是避免自嗨式的闭门造车,要贴近业务实际使用习惯,这样才容易推广应用。二是要统一数据接入、清洗规范,让数据最大程度的复用起来。


中台落地只是它使命的开始,如何评估数据中台的收益呢?屈世超老师说,评估数据中台的指标是业务开发效率和成本,数据中台能显著减少重复的开发成本,提升开发效率。


收益主要分两个方面,一是降低了开发门槛,让 PM、数据分析师、业务后台开发都能够自主选择合适的数据开发流程;二是提升了数据的复用能力,通过规范数据接入、清洗等规范,减少了重复开发和冗余存储。


个人和团队的收获

在数据中台规划/落地过程中,对于个人,对于团队,都有哪些收获和思考?


对于个人而言,屈老师说,最大的收获是能够站在公司全局视角去思考业务、人和数据平台的关系,梳理清晰了三者的供需关系。


对于业务团队来说,尤其是业务 PM、数据分析师和后台开发,他们有了可快速上手的平台工具去更快速的响应业务数据需求,解放了数据开发侧的需求压力;


从更广义的数据团队视角看,有了公共统一的数据规范,让公共数据在各个业务之间有了更高的复用性,提高了研发效能。


最后,屈老师团队正在招聘大数据架构师、数仓工程师、数据分析师等技术专家,以及客户端 &服务端架构师/工程师、运维开发工程师等,感兴趣可点击官网 https://kkworld.zhiye.com/home


技术会议推荐:

阔别半年之久,InfoQ 线下技术大会正式回归!将在 2020 年 12 月份和 2021 年 1 月份启动三站 QCon 全球软件开发大会(深圳、上海和北京)。根据各个地区属性,上海站设置了智能金融、5G 应用场景、去中台化、业务架构等专题。感兴趣的可以点击日程 https://qcon.infoq.cn/2020/shanghai/schedule


2020 年 10 月 29 日 10:311492

评论 3 条评论

发布
用户头像
一点构建数据中台的细节没有,讲的都是大家都知道的东西。
2020 年 10 月 29 日 20:40
回复
用户头像
全文就说了自己有多nb,其余都是所有人都知道的东西
2020 年 10 月 29 日 13:43
回复
用户头像
没收获到有用的点。
2020 年 10 月 29 日 12:08
回复
没有更多了
发现更多内容

围观|第一代云原生企业米哈游如何让想象发生?

阿里巴巴云原生

阿里云 最佳实践 运维 云原生 游戏开发

工作3年,看啥资料能月薪30K?

小傅哥

Java 面试 小傅哥 七日更 技术成长

DeFi平台DAPP软件系统开发

开發I852946OIIO

系统开发

JVM 垃圾回收原理

梧桐

Java并发编程:AQS的原子性如何保证

码农架构

Java java 并发

为什么你成为不了团队核心成员

数据社

团队 七日更

一文搞懂 CountDownLatch 用法和源码!

cxuan

Java 源码 并发

11 组关系带你看清 JVM 全貌

田维常

JVM

为了面试大厂,精选2020年大厂高频Java面试真题集锦(含答案)

Java成神之路

Java 程序员 架构 面试 编程语言

阿里 10 年:一个普通技术人的成长之路

阿里巴巴云原生

阿里云 云原生 技术人 自我思考 职场成长

第九周总结

小兵

Linux 如何实现定时调度任务

Near

Linux Timer 定时调度

数据结构与算法经典问题解析-Java语言描述

田维常

数据结构

UBI波场挖矿系统软件APP开发

开發I852946OIIO

系统开发

看了这份阿里Redis笔记,以后出去redis的问题你随便问

Java成神之路

Java 程序员 架构 面试 编程语言

点个外卖,我把「软中断」搞懂了

小林coding

Linux 操作系统

业务重要?还是技术重要?

数据社

思考 团队 七日更

盘点2020|从写程序到写文章,一个宅男程序猿到平台写手的心路历程

罗小龙

程序猿 盘点2020 心路历程 宅男 平台写手

IoT数据模型设计

soolaugust

物联网 IoT 数据模型 工业物联网 七日更

LeetCode题解:92. 反转链表 II,递归,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

Synchronized用法原理和锁优化升级过程(面试)

叫练

synchronized 轻量级锁 偏向锁 多线程与高并发 同步

盘点2020 | 干饭人 cxuan 活下来了

cxuan

学习 总结 盘点2020

第九周-作业一

ray-arch

蚂蚁集团下架互联网存款产品:互联网金融是天使还是魔鬼

石头IT视角

4. 上新了Spring,全新一代类型转换机制

YourBatman

Spring Framework 类型转换 Converter

MySQL修改账号密码方法大全

Simon

MySQL 七日更

快手基于 Apache Flink 的优化实践

Apache Flink

flink

测开之函数进阶· 第1篇《递归函数》

清菡

测试开发

ETHERZ流动性挖矿系统软件APP开发

开發I852946OIIO

系统开发

vivo 微服务 API 网关架构实践

vivo互联网技术

微服务 微服务网关 API网关 Zuul2

奋斗30天,苦心啃透java高级工程师面试1000题,涨薪10K很难吗?

Java成神之路

Java 程序员 架构 面试 编程语言

滴滴 Logi 日志管理与分析平台

滴滴 Logi 日志管理与分析平台

快看漫画屈世超:中小公司也可建设小而美的数据中台-InfoQ