写点什么

下一代大数据实时监控系统

  • 2019-08-27
  • 本文字数:719 字

    阅读完需:约 2 分钟

下一代大数据实时监控系统

QCon上海2018大会上,李双江讲师做了《下一代大数据实时监控系统》主题演讲,主要内容如下。


演讲简介


在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。


为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

听众受益

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;

  2. 了解 Blink 和 Ignite 在大数据监控系统中的应用;

  3. 了解传统的 SQL 如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。


讲师介绍


李双江


阿里巴巴 Senior Engineer


李双江,阿里巴巴技术专家,美国田纳西大学计算机工程博士,研究方向为机器学习优化算法,应用于图像、视频、计算机网络等领域。在 Java 语言,网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个 SCI 期刊及 IEEE/ACM 会议的编辑、委员及技术委员会主席。


自 2017 年起加入阿里巴巴,目前负责开发阿里巴巴基础设施事业群(Alibaba Infrastructure Service)网络研发事业部下一代监控系统的研发,大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余,爱好跑步,游泳和骑车。曾完成多次马拉松和铁人三项比赛。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-27 15:583207

评论

发布
暂无评论
发现更多内容

简单的线程池实现多线程对大文件的读取

CRMEB

安全研究人员发现:Nanocore等多个远控木马滥用公有云服务传播

H

网络安全

Nacos电子书 读后感(一)

努力努力再努力

1月日更

明道云助力东航食品营销数据整合

明道云

RadonDB PostgreSQL on K8s 2.1.0 发布!

RadonDB

数据库 postgresql 开源 RadonDB

架构实战营:模块六作业

Geek_93ffb0

「架构实战营」

精彩回顾!| Google DevFest 2021 广州国际嘉年华

江湖老铁

12月云短信报告出炉,阿里云闯进前三

博睿数据

哲元科技×飞桨EasyDL|助力世界500强企业打造“灯塔工厂”,探索智能制造星辰大海

百度大脑

Kubernetes 下部署 JMeter 集群

zuozewei

Jmeter 性能测试 1月月更

架构实战营-毕业设计

Beyond Ryan

StreamNative 联合传智教育推出免费 Apache Pulsar 中文视频教程

Apache Pulsar

大数据 开源 架构 云原生 Apache Pulsar

使用hydra对端口进行爆破

喀拉峻

架构实战营-毕业设计

Beyond Ryan

云信小课堂|如何实现音视频安全检测?

网易云信

安全 音视频

markdown-it 插件如何写(二)

冴羽

前端 markdown vuepress markdown-it markdown-it插件

征文投稿丨使用轻量应用服务器部署Hadoop云集群

阿里云弹性计算

hadoop 轻量应用 征文投稿

消息队列 RocketMQ 遇上可观测:业务核心链路可视化

阿里巴巴云原生

阿里云 RocketMQ 云原生 消息队列 可观测

Flink 实践教程-进阶(7):基础运维

腾讯云大数据

flink 实战 流计算 Oceanus

低代码实现探索(二十六)移动端H5开发

零道云-混合式低代码平台

喜报!东方证券携手博睿数据荣获《金融电子化》2021科技赋能金融业务突出贡献奖

博睿数据

用11本白皮书搭建3座桥:联想企业科技集团让智能化转型不再有孤岛

脑极体

网络安全kali渗透学习 web渗透入门 ARL资产侦察灯塔系统搭建及使用

学神来啦

浪花过后,2022低代码该往哪儿走?

ToB行业头条

通证经济是更高层次的自由

CECBC

【网络研讨会】“专家面对面”-MongoDB模式设计

MongoDB中文社区

mongodb

流计算 Oceanus | Flink JVM 内存超限的分析方法总结

腾讯云大数据

flink 实战 流计算 Oceanus

i人事CTO王景飞:i人事+计算巢,协同赋能HR业务

阿里云弹性计算

阿里云 计算巢

macOS下 Hive 2.x 的安装与配置

JavaEdge

1月月更

低代码实现探索(二十七)低代码如何继承传统

零道云-混合式低代码平台

navie ui/antDesign vue 的按需自动引入

Mr.Cactus

Vite2 vue3.2 antDesign vue naive ui

下一代大数据实时监控系统_QCon_李双江_InfoQ精选文章