写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:034220

评论

发布
暂无评论
发现更多内容

JVM优化过头了,直接把异常信息优化没了?

why技术

Java JVM

打造全景5G专网运营能力,差异化赋能行业生态

鲸品堂

场景

Tapdata 荣获2021中国创新势力榜“最佳数字中台企业服务品牌”大奖

tapdata

Tapdata 最佳数字中台企业服务品牌

Uber 多区域 Kafka 的灾难恢复

奔着腾讯去

Apache kafka 分布式

为什么互动直播可以发展如此迅速?

anyRTC开发者

在线教育 视频直播 直播连麦 互动直播 电商直播

PNComp目录比较器

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

智汇华云|安超云套件Archer Cloudsuite为“信创强国”筑基

华云数据

比redis-rdb-tools快10倍的rdb分析工具

BUG侦探

redis bigkey rdb分析

什么是高效,什么是好的企业文化

Ryan Zheng

PNFile入门指南

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

PNTree 目录结构树

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

[翻译] 关于学习 InnoDB:InnoDB 核心之旅

keaper

MySQL 数据库 后端 服务端 innodb

产业区块链迎来新纪元,基础设施建设成核心命题

旺链科技

区块链 产业 基础设施建设

百度内容风控是怎样在秒级之内完成词表匹配

百度Geek说

百度 内容审核

一文搞懂一致性hash的原理和实现

万俊峰Kevin

微服务 hash Go 语言

什么是MircoPython?

华为云开发者联盟

Python 编程语言 物联网 MicroPython 嵌入式应用

PNEdit 百科

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

从零开始学习3D可视化之数据对接(1)

ThingJS数字孪生引擎

大前端 可视化 3D 3D可视化 数字孪生

PNFile 百科

Geek_6bf591

PNEdit文本编辑器

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

如何保障服务器承受亿级流量(12)【限流】

我爱娃哈哈😍

架构设计 架构设计实战

360 政企安全集团基于 Flink 的 PB 级数据即席查询实践

Apache Flink

flink

智慧能源:清洁低碳环保新能源,沙漠光伏与光热发电站 3D 可视化

一只数据鲸鱼

数据可视化 智慧能源 光伏发电 沙漠光伏

用10个真实案列带你掌握MySQL调优

北游学Java

Java MySQL 性能调优

Go语言,你必须掌握的--高效并发模式!

微客鸟窝

Go 语言

容器安全检查列表

greatersecurity

容器 云原生 DevSecOps

天津大学教授站上 WICC2021 “讲坛” 将分享边缘计算新研究

融云 RongCloud

DistSQL:像数据库一样使用 Apache ShardingSphere

SphereEx

手写希尔排序算法

实力程序员

编程 程序员 C语言 排序算法

PNFile功能介绍

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

PNFind文件搜索器

Geek_6bf591

vim emacs vscode UltraEdit 文本编辑器

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章