在 QCon 上海 2018 大会上，李双江讲师做了《下一代大数据实时监控系统》主题演讲，主要内容如下。
演讲简介：
在大规模网络下，随着 gRPC 协议方式的采集的普及， 响应速度快，实时性高，采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员，给下一代的大数据实时监控系统带来了一定的挑战。
为此，我们引入了一套基于流式计算（Blink 基于开源的 Apache Flink）和内存数据存储（Apache Ignite）方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存，Blink 进行流式计算，Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成，通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。
听众受益
- 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统；
- 了解 Blink 和 Ignite 在大数据监控系统中的应用；
- 了解传统的 SQL 如何在整个系统中发挥作用，带来更大的灵活性和业务扩展性。
讲师介绍：
李双江
阿里巴巴 Senior Engineer
李双江，阿里巴巴技术专家，美国田纳西大学计算机工程博士，研究方向为机器学习优化算法，应用于图像、视频、计算机网络等领域。在 Java 语言，网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个 SCI 期刊及 IEEE/ACM 会议的编辑、委员及技术委员会主席。
自 2017 年起加入阿里巴巴，目前负责开发阿里巴巴基础设施事业群（Alibaba Infrastructure Service）网络研发事业部下一代监控系统的研发，大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余，爱好跑步，游泳和骑车。曾完成多次马拉松和铁人三项比赛。
完整演讲 PPT 下载链接：
评论