写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:034351

评论

发布
暂无评论
发现更多内容

[Pulsar] 消息从Broker到Consumer的历程

Zike Yang

Apache Pulsar 12月日更

架构训练营 模块五 作业

dog_brother

「架构实战营」

react源码解析15.scheduler&Lane

buchila11

React React Hooks

陈齐彦 Roby:开源也许是中国未来IT行业最重要的统战对象 I OpenTEKr 大话开源 Vol.1

OpenTEKr

大话开源

react源码解析16.concurrent模式

buchila11

React React Hooks

聊聊工作界面

Justin

工作效率 沟通 28天写作 沟通界面

模块七作业

bob

「架构实战营」

学习心得 - 架构训练营 - 毕业设计项目

Fm

爱奇艺基础数据平台演进

爱奇艺技术产品团队

node服务端渲染

编程江湖

node.js 大前端

深度解读|Spark 中 CodeGen 与向量化技术的研究

Kyligence

TDS构建数据湖、数据仓库应用介绍

星环科技

Linux系统学习《Linux一学就会》Linux文件系统结构

侠盗安全

Linux linux运维 运维工程师 云计算架构师

异构组网如何解决共享资源冲突?|HDC2021技术分论坛

HarmonyOS开发者

HarmonyOS

Java 动态代理之 InvocationHandler 最简单的入门教程

汪子熙

Java 动态代理 28天写作 SAP 12月日更

极客时间算法训练营 Week03

jjn0703

分布式系统中,权限设计实践

架构 分布式 权限设计

Git进阶(九):Git 命令实现提交指定文件

No Silver Bullet

git 12月日更

网络协议之:还在用HTTP代理?弱爆了!快试试SOCKS5

程序那些事

网络协议 HTTP 程序那些事 12月日更 SOCKS5

全面适配DPDK 20.11,DPVS发布v1.9.0版本

爱奇艺技术产品团队

如何查看Java进程和线程

李子捌

28天写作 JAV A 12月日更

quarkus微服务+istio+k8s云原生devops持续集成演示( Tekton(ci/cd) + quarkus + harbor + Nexus)

weir威尔

Kubernetes istio 持续集成 Tekton Quarkus

给弟弟的信第4封|你需要尽早知道的理财知识

大菠萝

28天写作

说了半天跨平台,今儿咱就来跨跨!(上)

为自己带盐

Docker dotnet 28天写作 签约计划第二季 12月日更

瞰源 | 当我们谈论开源时,我们在谈论什么?

OpenTEKr

狄安瞰源

Java 开发中常见的 10 个错误

编程江湖

JAVA开发 java编程

Kotlin 初学者教程【Kotlin专题1】

坚果

kotlin 28天写作 12月日更

Flutter 自定义 ACERaido 单选框 & ACECheckBox 复选框

阿策小和尚

28天写作 内容合集 签约计划第二季 12月日更

大厂算法面试之leetcode精讲21.树

全栈潇晨

算法 LeetCode

大厂算法面试之leetcode精讲22.字典树

全栈潇晨

LeetCode 算法面试

让设计如语言一般自然

鲸品堂

设计 通信 运营商

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章