内容介绍

直播概要

当业务发展到一定规模,实时数据仓库就成了必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。但是在数据量巨大的情况下,以腾讯看点为例,一天上报的数据量可以达到万亿级规模,这时要实现极低延迟的实时计算和亚秒级的多维实时查询存在相当大的技术挑战。

本次分享将细致分析信息流场景下,实时数据系统面临的技术挑战。通过介绍腾讯看点的实时数据仓库和多维实时数据分析系统的技术架构,详解如何基于 Flink+ClickHouse 解决海量数据场景下的实时数据分析系统难题。

直播大纲

  • 实时数据分析系统的作用和腾讯看点的业务场景分析
  • 实时数据分析系统难点和方案选型
    • 流水上报数据量大、格式混乱、缺乏维度信息
    • 实时计算引擎:千亿 / 秒的上报数据实时维表关联的挑战
    • 实时存储引擎:高并发写入、高可用分布式存储和高性能查询的难点
  • 基于 Flink+ClickHouse 的技术架构和实践
    • 通过微队列拆分、实时数据清洗,构建实时数据仓库,提供方便好用的实时数据
    • 通过具有低延迟、高吞吐、易用性高以及 Exactly-Once 准确性特点的 Flink,再借助 Redis 缓存,实现海量数据下的实时维表关联
    • 通过 MPP 存储引擎 ClickHouse,借助 Zookeeper 实现高可用,通过路由分表、预聚合物化视图等实现高性能多维数据查询功能

听众受益

  • 了解信息流场景下实时数据仓库的特点
  • 了解腾讯看点万亿量级数据下,多维实时查询系统的技术架构
  • 了解 Flink 和 ClickHouse 的企业实践

适合人群

  • 对大数据技术 Flink、ClickHouse 感兴趣的数据爱好者
  • 正在探索通过 Flink 构建实时数据仓库的同学
  • 正在探索通过 ClickHouse 构建多维 OLAP 查询系统的同学

讲师介绍

王展雄,腾讯看点数据团队高级工程师,复旦大学硕士毕业后加入腾讯看点数据研发组,主要负责腾讯看点实时数据系统的研发和数据仓库的构建。曾经获得 JDD-2017 全球数据算法大赛 Top3,国际权威人脸数据库(MegaFace)百万规模的人脸识别挑战赛最好成绩。

评论 (3 条评论)

发布
用户头像
加关
2020 年 10 月 14 日 20:25
回复
用户头像
11111
2020 年 10 月 14 日 18:40
回复
用户头像
111
2020 年 10 月 14 日 18:40
回复
没有更多评论了