NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:033666

评论

发布
暂无评论
发现更多内容

涛思数据与中天钢铁签署战略合作协议,加速钢铁行业的数字化发展

TDengine

数据库 tdengine

许北林:我为什么加入OpenHarmony生态?又为什么要做“启航KP”开发套件?

OpenHarmony开发者

OpenHarmony 开发者故事

如何在 Web 应用里消费 SAP Leonardo 的机器学习 API

Jerry Wang

机器学习 前端开发 前端框架 SAP 5月月更

AI简报-Image Colorization调研

AIWeker

深度学习 5月月更 AI简报 Image Colorization

解读分布式调度平台Airflow在华为云MRS中的实践

华为云开发者联盟

Python spark airflow 华为云MRS 大数据集群

Authing 渠道合作伙伴火热招募中!

Authing

网络效应 Idaas 合作网络

AgentTesla病毒解析:利用钓鱼邮件窃取终端隐私数据

火绒安全

数据 终端安全 病毒 隐私安全

跨平台应用开发进阶(七) :uni-app 自定义 showToast

No Silver Bullet

uni-app 5月月更 吐司弹窗 跨终端

所谓测试报告

FunTester

Google Guava中EventBus使用不当会导致什么故障?

BUG侦探

kafka Guava EventBus

作为软件工程师,给年轻时的自己的建议(上)

禅道项目管理

程序员 工程师 职业成长

大数据培训在 Presto 中使用哈希改善动态集群缓存命中率

@零度

Niobe开发板:基于OpenHarmony操作系统进行多线程(多任务)开发

拓维信息

OpenHarmony

如何在30分钟完成表格增删改查的前后端框架搭建

葡萄城技术团队

前端 前后端 系统搭建 表格系统

音视频开发进阶课程|第一期:音频要素

ZEGO即构

RTC 音视频开发 音视频课程 音视频基础入门

不会这3个ChartBuilder使用技巧,怎么开发优秀的数字孪生可视化项目?

ThingJS数字孪生引擎

业务逻辑的灵魂在哪里?

清林情报分析师

数据分析 数据建模 数据可视化 分析软件 分析思维

【小知识】云管理平台与一般管理系统有什么区别?

行云管家

云计算 云管理平台 云管理

Tech Talk 活动预告丨云原生 DevOps 的 Kubernetes 技巧

亚马逊云科技 (Amazon Web Services)

云原生

MySQL缓存策略分析

C++后台开发

MySQL 数据库 后端开发 Linux服务器开发 C++后台开发

跨平台应用开发进阶(八) :uni-app 实现Android原生APP-云打包集成极光推送(JG-JPUSH)详细教程

No Silver Bullet

uni-app 极光推送 5月月更 云打包

当姿态估计算法遇上《本草纲目》,看“刘畊宏男孩”如何驱动虚拟人

阿里云视频云

计算机视觉 虚拟人 人体姿态

使用 jMeter 对需要 User Authentication 的 Restful API 进行并发负载测试

Jerry Wang

Java Jmeter 性能测试 SAP 5月月更

2022年广州市等保测评公司新排名看这里!

行云管家

网络安全 等保 等保测评 广州 等保测评公司

FlyFish|前端数据可视化开发避坑指南(一)

云智慧AIOps社区

JavaScript 前端 node,js 数据可视化工具

比渗透测试更有用,红队演练该如何开展?

青藤云安全

架构实战营 第 6 期 模块六课后作业

火钳刘明

#架构实战营 「架构实战营」

31点经验分享与吐槽

老白鹿

数据分析软件有哪些分类?

清林情报分析师

数据分析 数据可视化 知识图谱 分析软件 分析工具

郑重声明

Authing

身份云 Idaas

科创人·智慧芽技术副总裁屠昶旸:技术之路是挑战之路,不愿在大厂空耗岁月

科创人

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章