下一代大数据实时监控系统

阅读数:863 2019 年 8 月 27 日 15:58

下一代大数据实时监控系统

QCon 上海 2018 大会上,李双江讲师做了《下一代大数据实时监控系统》主题演讲,主要内容如下。

演讲简介

在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。

为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

听众受益

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;
  2. 了解 Blink 和 Ignite 在大数据监控系统中的应用;
  3. 了解传统的 SQL 如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。

讲师介绍

李双江

阿里巴巴 Senior Engineer

李双江,阿里巴巴技术专家,美国田纳西大学计算机工程博士,研究方向为机器学习优化算法,应用于图像、视频、计算机网络等领域。在 Java 语言,网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个 SCI 期刊及 IEEE/ACM 会议的编辑、委员及技术委员会主席。

自 2017 年起加入阿里巴巴,目前负责开发阿里巴巴基础设施事业群(Alibaba Infrastructure Service)网络研发事业部下一代监控系统的研发,大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余,爱好跑步,游泳和骑车。曾完成多次马拉松和铁人三项比赛。

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

下一代大数据实时监控系统

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/shanghai/schedule

评论

发布