写点什么

下一代大数据实时监控系统

  • 2019-08-27
  • 本文字数:719 字

    阅读完需:约 2 分钟

下一代大数据实时监控系统

QCon上海2018大会上,李双江讲师做了《下一代大数据实时监控系统》主题演讲,主要内容如下。


演讲简介


在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。


为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

听众受益

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;

  2. 了解 Blink 和 Ignite 在大数据监控系统中的应用;

  3. 了解传统的 SQL 如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。


讲师介绍


李双江


阿里巴巴 Senior Engineer


李双江,阿里巴巴技术专家,美国田纳西大学计算机工程博士,研究方向为机器学习优化算法,应用于图像、视频、计算机网络等领域。在 Java 语言,网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个 SCI 期刊及 IEEE/ACM 会议的编辑、委员及技术委员会主席。


自 2017 年起加入阿里巴巴,目前负责开发阿里巴巴基础设施事业群(Alibaba Infrastructure Service)网络研发事业部下一代监控系统的研发,大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余,爱好跑步,游泳和骑车。曾完成多次马拉松和铁人三项比赛。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-27 15:583158

评论

发布
暂无评论
发现更多内容

打造“云边一体化”,时序时空数据库TSDB技术原理深度揭秘

数据库 大数据 时序数据库 tsdb 数据智能

新思科技解读金融服务业的应用安全误区与现实

InfoQ_434670063458

新思科技 金融服务安全

Taking advantage of context features

毛显新

自然语言处理 tensorflow 推荐系统

「SQL数据分析系列」12. 事务

Databri_AI

sql 事务

如何识别并解决复杂的dcache问题

安第斯智能云

后端

阿里巴巴Java岗面试题库更新(第8版)

Java架构师迁哥

淘宝网 Java 千亿级并发系统架构设计笔记(全彩版小册开源)

Java 程序员 架构 并发编程 计算机

Kafka为何弃用zookeeper(翻译)

石头哥谈架构

kafka kafka架构 分布式消息/流中间件

模块三-学生管理系统详细架构设计

kk

架构训练营

网络攻防学习笔记 Day90

穿过生命散发芬芳

网络攻防 7月日更

8月日更挑战正式开启,新人大奖等你来领!

InfoQ写作社区官方

8月日更 热门活动

Apache ShardingSphere:由开源驱动的分布式数据库中间件生态

亚马逊云科技 (Amazon Web Services)

人工智能 开源数据库

2021可信云大会顺利召开,北鲲云践行云计算六大发展趋势

北鲲云

你以为你懂redis?等看完某宝付费的资源你就知道了

Java架构师迁哥

浪潮云洲赋能智造 拉升制造业“微笑曲线”

云计算

架构训练营第 1 期 模块三作业

高远

HarmonyOS开发者创新大赛获奖作品分享——《分镜头App》

科技汇

新工科师资培训 |深度推进校企合作 新工科产学研联盟华为技术

科技汇

手撕环形队列系列二:无锁实现高并发

实力程序员

程序员 数据结构 并发 无锁 环形队列

Fil收益怎么看?Fil一天收益如何?

区块链 IPFS fil收益 filecoin生态

一句话木马该怎么实现?现在就带你了解

网络安全学海

Java 网络安全 信息安全 渗透测试 漏洞分析

如何制定音视频编解码学习路线

hanaper

音视频 图像识别 图形处理 语言 & 开发

不愧是阿里内部“SpringCloudAlibaba学习笔记”竟然在GitHub霸榜

Java 程序员 架构 微服务 计算机

第三周作业-知识星球利益相关者排序

小夏

产品经理训练营 邱岳

🏆「作者推荐!」【Java 技术之旅】彻底你明白什么是JIT编译器(Just In Time编译器)

码界西柚

Java 编译器 JIT compiler 即时编译器

Vue进阶(幺柒陆):CSS 预编译语言 Sass、Scss、Less 和 Stylus

No Silver Bullet

CSS less SASS scss 7月日更

Vue进阶(幺捌伍):应用 qs 插件实现参数格式化

No Silver Bullet

Vue 7月日更 qs

网络 IO 服务器模型 Reactor 与 Proactor

赖猫

Linux reactor

品牌轮:用MOT引导的品牌体验模型

石云升

用户体验 关键时刻 7月日更 体验设计

【得物技术】服务发布时网络“抖动”

得物技术

网络 服务 响应时间 部署 发布

第九周作业-朴朴超市用户路径&转化漏斗

小夏

产品经理训练营 邱岳

下一代大数据实时监控系统_QCon_李双江_InfoQ精选文章