写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:034302

评论

发布
暂无评论
发现更多内容

WAAP对提升网站访问速度有什么作用?

天翼云开发者社区

WAAP

浩辰CAD看图王:携手鸿蒙,CAD技术创新驱动企业数字化转型

在路上

cad 浩辰CAD CAD看图王

YashanDB金融特性数据库根原创实验室成果发布,1:1替代Oracle能力获数十家金融权威专家验证

极客天地

项目管理协作软件:禅道 VS Leangoo

axe

项目管理工具 办公软件 禅道 leangoo

SpringCloud Alibaba Seata 分布式事务处理的详细使用以及详细剖析

量贩潮汐·WholesaleTide

分布式 #SpringCloud

DevOps效能引擎:模板版本管理,让每一次变更可控可追溯

嘉为蓝鲸

DevOps 持续集成 智能运维

时序数据库 Apache IoTDB V2.0.3 发布|新增元数据导入导出脚本适配表模型功能

Apache IoTDB

DeepSeek‑R1-0528 重磅升级:蚂蚁百宝箱免费、无限量调用

猫头虎

人工智能 DeepSeek DeepSeek v3 DeepSeek R1 模型

【万字长文】大模型开源开发全景与趋势解读

蚂蚁开源

人工智能 开源 大模型 开源生态 AI趋势

ETL脚本节点使用的方式

谷云科技RestCloud

数据处理 API 脚本 ETL 数据集成

《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》阅读笔记

AI布道Mr.Jin

鲲鹏Arm+麒麟V10,国产化信创 K8s 离线部署保姆级教程

北京好雨科技有限公司

k8s rainbond 容器平台 企业号 5 月 PK 榜 信创国产化

从试验田到深水区,AI落地的福州答卷

脑极体

AI

基于华为开发者空间,部署Cherry Studio+高德地图MCP Server构建出行规划助手

华为云开发者联盟

华为云ModelArts AI‘’ 华为开发者空间 MCP

HAProxy 可观测性最佳实践

观测云

HAProxy

《算法导论(第4版)》阅读笔记:p173-p174

codists

算法

开源 TTS 模型 Chatterbox:支持实时合成,0.5B 规模;Odyssey:实时互动视频,30 帧/秒流式传输丨日报

声网

Java学习书籍推荐!

程序员高级码农

Java 程序员 计算机

SpringBoot项目的html页面使用axios进行get post请求

刘大猫

人工智能 算法 post GET axios

RocketMQ实战—基于RocketMQ升级订单系统架构

不在线第一只蜗牛

RocketMQ

华为开发者空间 - MindSpore魔法课堂:手把手教你玩转AI框架

华为云开发者联盟

Jupyter Notebook 昇思MindSpore AI‘’ 华为开发者空间

今年夏天,最不该错过的一场 AI 聚会

声网

是时候跟虚拟机说再见了?

北京好雨科技有限公司

k8s rainbond 容器平台 企业号 5 月 PK 榜 信创国产化

华为浏览器上线高考频道,打造一站式智慧助考服务

最新动态

CAD文字样式如何修改?快来试试多行文字+自定义样式!

在路上

cad cad看图 CAD看图王

谷云科技发布业内首份 Oracle OSB 迁移到 iPaaS 技术白皮书

谷云科技RestCloud

oracle API 白皮书 集成平台 ipaas

Redis 集群操作配置(超详细配图,配截图详细说明)

量贩潮汐·WholesaleTide

redis

分布式系统学习:分布式事务

电子尖叫食人鱼

学习 分布式

Redis 数据恢复的月光宝盒,闪回到任意指定时间

Baidu AICLOUD

数据库 redis

互联网大厂1000道Java面试题及答案整理

Geek_Yin

Java 程序员 Java面试题 Java面试八股文

2025年中高级JAVA工程师面试题汇总

Geek_Yin

Java 编程 Java面试题 Java面试八股文

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章