写点什么

下一代大数据实时监控系统

  • 2019-08-27
  • 本文字数:719 字

    阅读完需:约 2 分钟

下一代大数据实时监控系统

QCon上海2018大会上,李双江讲师做了《下一代大数据实时监控系统》主题演讲,主要内容如下。


演讲简介


在大规模网络下,随着 gRPC 协议方式的采集的普及, 响应速度快,实时性高,采集数据更全面。如何将这些 gRPC 采集方式带来的众多优点不打折扣的提供给网络运维人员,给下一代的大数据实时监控系统带来了一定的挑战。


为此,我们引入了一套基于流式计算(Blink 基于开源的 Apache Flink)和内存数据存储(Apache Ignite)方式的实时告警系统。借助 Kafka 和 HBase 实现数据缓存,Blink 进行流式计算,Ignite 进行实时的业务告警。并 Blink 的 SQL 方式进行实时计算和规则生成,通过 Ignite 开放 SQL 开发实现了数据的低延迟实时查询服务。本次分享主要介绍我们在以上方面的一些经验。

听众受益

  1. 了解如何设计一套更实时、满足多业务场景需求的大数据监控系统;

  2. 了解 Blink 和 Ignite 在大数据监控系统中的应用;

  3. 了解传统的 SQL 如何在整个系统中发挥作用,带来更大的灵活性和业务扩展性。


讲师介绍


李双江


阿里巴巴 Senior Engineer


李双江,阿里巴巴技术专家,美国田纳西大学计算机工程博士,研究方向为机器学习优化算法,应用于图像、视频、计算机网络等领域。在 Java 语言,网络协议、网络安全、大数据处理和分布式系统领域有多年经验。现担任多个 SCI 期刊及 IEEE/ACM 会议的编辑、委员及技术委员会主席。


自 2017 年起加入阿里巴巴,目前负责开发阿里巴巴基础设施事业群(Alibaba Infrastructure Service)网络研发事业部下一代监控系统的研发,大规模数据挖掘、故障异常检测、网络运维可视化项目等。闲暇之余,爱好跑步,游泳和骑车。曾完成多次马拉松和铁人三项比赛。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-27 15:583198

评论

发布
暂无评论
发现更多内容

如何轻松应对偶发异常

阿里巴巴云原生

阿里云 微服务 云原生

HPC调度基础:slurm集群的部署

天翼云开发者社区

设计原则 — I 接口隔离原则

Lemoon Can

接口隔离原则 设计原则

RocketMQ x OpenTelemetry 分布式全链路追踪最佳实践

阿里巴巴云原生

阿里云 RocketMQ 云原生

“易+”开源 | 基于 ijkplayer 的 LLS-Player 移动端应用实践

网易云信

开源 实时音视频 低延时直播

【4月1日 上海站】融云社交泛娱乐出海赋能会,干货、礼品在等你!

融云 RongCloud

互联网 融云 泛娱乐 出海 通讯

共铸国云繁荣生态!天翼云华东中心生态合作大会圆满举行

天翼云开发者社区

AF_XDP技术简介

天翼云开发者社区

五分钟!获得轻量级的云原生应用控制平面

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

AI的道德风险验证

陈磊@Criss

如何使用 MegEngine 生态落地一个算法

MegEngineBot

开源 性能优化 MegEngine 算法落地

Excel 进阶|只会 Excel 也能轻松搭建指标应用啦

Kyligence

数据分析 Excel数据分析 指标平台

前端培训怎么学习好?

小谷哥

澜舟科技周明:进入AI 2.0不代表一定要抛弃1.0的技术

澜舟孟子开源社区

AIGC 澜舟科技 ChatGPT

“易+”开源 | 基于 ijkplayer 的 LLS-Player 移动端应用实践

网易智企

开源 实时音视频 低延时直播

直播回顾 | 点击率提升400%,Ta是怎么做到的?

HarmonyOS SDK

HMS Core

小白线下学习前端培训怎么样

小谷哥

分享:从数据库开发者的视角,预测5个开发趋势

OceanBase 数据库

数据库 oceanbase

「行业化」会是ToB巨头们的新战场吗?

ToB行业头条

智慧公厕系统:提高管理效率与用户体验的创新解决方案

光明源智慧厕所

智慧城市 智慧物业 智慧屏 智慧机场

超越 ChatGPT,GPT-4 将成为下一个“顶流”?

Zilliz

ChatGPT

智慧公厕:现代科技与城市卫生的完美结合

光明源智慧厕所

智慧城市 智慧物业 智慧机场

共铸国云智领未来| “云游”华夏?山西美景正当时!

天翼云开发者社区

欢迎大家来到不可思议又有趣的SQL世界

图灵教育

sql 数据库、 SQL sever

从制作九转大肠来谈起 | GreptimeDB 如何提高多步操作的容错能力

Greptime 格睿科技

数据库 云原生 时序数据库 procedure

最新版本 Stable Diffusion 开源 AI 绘画工具之汉化篇

江户川码农

本地化 汉化教程 AI绘画 Stable Diffusion Chinese

私有化部署chatGPT,告别网络困扰

南城FE

人工智能 前端 ChatGPT

风云变幻,尽收眼底!天翼云为气象信息化发展注智赋能

天翼云开发者社区

腾讯云数据库性能打破世界纪录 每分钟可处理8.14亿笔交易

数据库小组

数据库 腾讯云 tdsql

云行| 三大重磅发布,助力重庆数字经济新发展!

天翼云开发者社区

下一代大数据实时监控系统_QCon_李双江_InfoQ精选文章