内容介绍

直播简介

如何在大数据场景下进行实时的分析,特别是在数据维度很多的情况下? 这里面既包含了数据的实时计算,也包含了存储和实时分析。蔚来汽车基于 Flink 和 Druid 实现了一整套端到端的系统,并用于摄入数据的实时监控场景,同时,这套方案也适用于其他实时多维分析场景。

本次分享将描述整套方案的设计和实现细节,以及蔚来汽车在实践过程中总结提炼出的一些方法论。同时,蔚来汽车提出了一种理论模型(状态空间模型),用于从直观上解释 Flink 分布式快照的可行性,希望能给大家提供另一种视角来理解 Flink 的核心功能,帮助大家从理论和实践两个维度加深对 Flink 的理解。

直播大纲

  • 业务背景
    • 数据接入面临的问题
      • 业务表数量众多
      • 各业务表流量情况迥异
      • 涉及的业务部门多
    • 数据接入需要回答的问题
      • 各表的流量
      • 表的上下线
      • 表的 schema 变更
  • 技术架构
    • 功能
      • 实时统计多个维度(数据库 / 表 / 业务部门等)的流量趋势
      • 实时统计各个数据库和表最近更新时间
      • 实时监控表 Schema 的变更
    • 设计和实现
      • 漏斗模型
  • 状态空间模型
    • 分布式快照算法的难点
    • Flink 分布式快照的可行性解释
  • 多维分析
    • Druid 实时接入的方案
    • Druid 多维分析
  • 展示

听众受益

  • 了解大数据接入的痛点
  • 了解实时多维分析系统的设计
  • 从直观上理解 Flink 分布式快照算法的合理性

适合人群

  • 正在探索和建设实时多维分析系统的开发者
  • 对实时数仓感兴趣的同学
  • Flink 和 Druid 的学习者和使用者

讲师介绍

吴江,蔚来汽车资深大数据工程师,研究生毕业于清华大学计算机系,曾在微软,AppAnnie 等从事大数据相关的工作,拥有 10 年大数据从业经历,在数仓、大数据平台、数据中台,推荐系统领域有大量的实践经验和沉淀。

评论

发布
暂无评论