写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:034149

评论

发布
暂无评论
发现更多内容

Flink Metric

Alex🐒

flink 翻译 flink1.13

[译] Android 的 Java 9,10,11,12 的支持

Antway

6月日更

什么是Python中的套接字编程?

华为云开发者联盟

Python 编程 socket 网络 套接字

敏捷绩效管理三剑客:OKR 、KPI、CFR

CODING DevOps

DevOps OKR 敏捷绩效 绩效管理

【LeetCode】山脉数组的峰顶索引Java题解

Albert

算法 LeetCode 6月日更

Python——元组的使用

在即

6月日更

docker搭建Nginx和Tomcat负载均衡

叫我阿柒啊

nginx Docker 负载均衡

云图说|华为云自研云数据库GaussDB NoSQL,兼容多款NoSQL接口的数据库服务

华为云开发者联盟

nosql Influxdb Cassandra mongo GaussDB NoSQL

网络安全逐渐成为程序员的必备技能

学神来啦

Linux 程序员 安全 渗透

实时音视频开发理论必备:如何省流量?视频高度压缩背后的预测技术

JackJiang

音视频 即时通讯 IM 视频编解码

重启心智解锁,重新获得一份能力精进指南,面对不确定性的未来,我们可以和世界的变化做好友。

叶小鍵

浪潮云说丨云应用容灾:四大关键能力,护航业务连续性

云计算

ONES CTO 冯斌 | 升级项目管理体系,加速金融行业数字化转型

万事ONES

项目管理 研发管理 数字经济 ONES

缓存的世界Redis(一)

卢卡多多

redis 缓存 6月日更

ONES CTO 冯斌 | 大型软件研发团队如何实践高效项目管理?

万事ONES

团队管理 ONES Project 研发团队

EMQ映云科技边缘计算里程碑—Kuiper加入LF Edge基金会

EMQ映云科技

开源 云端 边缘流式数据 emq LF Edge

互联网就业系列文(一)

HZFEStudio

互联网 就业

文档代码同源

不脱发的程序猿

开发规范 文档代码同源

你有一份Rx编程秘籍请签收

vivo互联网技术

响应式编程 大前端 函数编程 RXJS

详解Vue八大生命周期钩子函数

华为云开发者联盟

Vue 对象 函数 Vue实例 八大生命周期

并发王者课-黄金3:雨露均沾-不要让你的线程在竞争中被“饿死”

MetaThoughts

Java 多线程 并发 并发王者课

react源码解析12.状态更新流程

全栈潇晨

React

你应该知道的数仓安全

华为云开发者联盟

数据加密 数仓安全 透明加密 SQL函数加密

全新升级IoT Stack 2.0和度能2.0,百度持续加码为产业智能化安全护航

百度大脑

百度智能云

【译】JavaScript 代码整洁之道-概述篇

KooFE

JavaScript 大前端 6月日更 整洁代码

推荐学Java——应该了解的前端内容

逆锋起笔

Java 大前端 后端 JAVA开发

ARTS 打卡第11周

steve_lee

Go 语言学习路线来啦

roseduan

学习 Go 语言

Pandas高级教程之:Dataframe的重排和旋转

程序那些事

Python 数据分析 pandas 程序那些事

Apache Drill 1.19.0 发布集锦

MPP Apache Drill 联邦查询和分析

EasyRecovery用法进阶--高阶设置使用技巧

淋雨

数据恢复 EasyRecovery 文件恢复 硬盘恢复

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章