聚焦大模型浪潮下软件工程的创新洞见与实践 |QCon主题演讲大咖来袭 了解详情
写点什么
从0到1搭建数据中台实践全解

从0到1搭建数据中台实践全解

2020 年 Q4 伴鱼数据中台团队制定了三个季度的数据中台建设规划,核心路径为:

1、2020 年 Q4 解决当前明显的数据质量与服务问题,提高业务部门的满意度(通过问卷调查的方式),同时启动数据基础的平台化建设;

2、2021 年 Q1 完成数据基础的平台化建设并且启动推广,包括元数据中心、离线开发平台、实时开发平台、数据质量中心、数据链路平台化、指标平台、埋点平台等数据治理和数据开发的核心相关平台,同时启动数据应用的平台化建设;

3、2021 年 Q2 完成数据应用的平台化建设并且启动推广,包括用户画像 & DMP 平台,事件分析平台等,同时期待数据中台整体达到的目标为:对外部业务线来说,数据中台整体的服务质量、效率和能力都没有问题;对于数据中台内部来说,规范化和系统化全面落地,能从容面对业务线的增加和扩张,数据中台整体完成度到 60 分;

现在时间已经走过了 2021 年 Q3,伴鱼数据中台在 2020 年 Q4 定下的规划也一一实现,所以我们决定启动这一个专栏来记录这一个过程,为大家的辛苦、思考和灵感找一个归宿,也期待能给有相同需求的后来者们提供一点点思路。

Flink 在伴鱼的实践:如何保障数据的准确性
Flink 在伴鱼的实践:如何保障数据的准确性

伴鱼实时数仓主要以 Flink 为计算引擎,搭配 Redis ,Kafka 等分布式数据存储介质,以及 ClickHouse 等多维分析引擎。

伴鱼事件分析平台:设计篇
伴鱼事件分析平台:设计篇

本文将首先介绍平台的功能,随后讨论平台在架构上的一些思考。

伴鱼数据质量中心的设计与实现
伴鱼数据质量中心的设计与实现

导致产出的数据结果不可信。数据方去定位问题(对于一个较冷的报表,这个周期可能会更长)。同时,由于数据加工链路较长需要借助数据的血缘关系逐个任务排查,也会导致问题的定位难度增大,严重影响开发人员的工作效率。

伴鱼实时计算平台 Palink 的设计与实现
伴鱼实时计算平台 Palink 的设计与实现

目前「Palink」项目已经落地并投入使用,很好地满足了伴鱼业务在实时场景的需求。

伴鱼数仓演进
伴鱼数仓演进

伴鱼离线数仓建立,与伴鱼的业务一起快速发展,从一条业务线,到多条业务线。在演进的过程中,有很多总结和沉淀的内容。本篇文章主要介绍伴鱼离线数据仓库的发展历史,在发展过程中遇到的各种问题,以及针对问题的解决方案。

没有更多了
从0到1搭建数据中台实践全解_技术洞察_技术趋势_大厂实践_InfoQ精选专题