浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

发布于:2019 年 8 月 29 日 12:03

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon 上海 2018 大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。

演讲简介

结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。

讲师介绍

粟海

PaloAlto Networks 高级研发经理

一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks, 高级软件研发经理,毕业于华中科技大学计算机系, 美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。

目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。

业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

浅谈Kafka Streams在实时跟踪和监控系统中的应用

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2018/shanghai/schedule

阅读数:3078 发布于:2019 年 8 月 29 日 12:03

更多 QCon、Kafka、最佳实践 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论