写点什么

浅谈 Kafka Streams 在实时跟踪和监控系统中的应用

  • 2019-08-29
  • 本文字数:632 字

    阅读完需:约 2 分钟

浅谈Kafka Streams在实时跟踪和监控系统中的应用

QCon上海2018大会上,粟海讲师做了《浅谈 Kafka Streams 在实时跟踪和监控系统中的应用》主题演讲,主要内容如下。


演讲简介


结合在 Palo Alto Networks Wildfire 云服务系统开发和运维中的一些痛点,来讲述如何运用流技术来设计和打造一个实时跟踪和监控系统。如何进行技术选型,如何使用流技术(Kafka Streams)来计算和统计基于业务逻辑的系统运行状况,使用 Elasticsearch 来存储数据和查询历史数据,并通过定制化界面以及通用图形报表系统 Grafana 来展示实时统计数据和个体处理单元的跟踪结果。 讨论将来如何通过机器学习技术结合实时跟踪和监控系统来使整个运维系统智能化,减轻运维压力,快速定位和隔离故障节点,保证整体系统的高可用性。


讲师介绍


粟海


PaloAlto Networks 高级研发经理


一名工程师,程序员,新技术的粉丝,喜欢解决问题的人,有自己管理理念的团队带领者,3 个孩子的父亲,爱煮饭的先生。现担任 Palo Alto Networks,高级软件研发经理,毕业于华中科技大学计算机系,美国仁斯里尔理工大学工学硕士。曾担任广东省东江深圳供水工程管理局(现广东粤海集团粤港供水公司)集控中心副主任,信息中心副主任。深圳东深电子技术有限公司研发副总经理。


目前负责 Palo Alto Networks 安全云服务系统 Wildfire 的架构开发。专注于大数据,高并发系统的软件设计和研发。


业余时间热心于在美国硅谷华人社区的公益活动。现任美国北加州华科校友会会长,喜爱跑步和 hiking。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-08-29 12:034345

评论

发布
暂无评论
发现更多内容

YashanDB CRYPT_RANDOM函数

YashanDB

yashandb

Kairos:AI Agent 时代的基础设施新范式,重塑全球算力网络

股市老人

八大年度奖项揭晓!2024 BSRC年度盛典沙龙圆满举办

百度安全

字节推出 LiveCC,首个实时评论视频模型;AI 客户访谈初创 Listen Labs 融资 2700 万美元,红杉领投丨日报

声网

YashanDB|YAS-00413 超时报错?其实是系统资源限制“卡脖子”了

数据库砖家

数据库·

YashanDB |PHP 无法连接 YashanDB?ODBC 驱动“找不到”的锅怎么甩?

数据库砖家

数据库·

哈尔滨等保应用安全测评

黑龙江陆陆信息测评部

YashanDB|数据库运行没问题,为何日志频繁提示 metadata changed?

数据库砖家

数据库·

YashanDB|Ubuntu 加载 C 驱动后 PHP 启动失败?原来是“库冲突”惹的祸

数据库砖家

数据库·

10.接口而非实现编程

杨充

桌面日历工具有哪些?3个常用的任务管理软件盘点!

职场工具箱

项目管理 任务管理 在线白板 办公软件 日历应用程序

「Boli-职业发展助手」:技术人必备的智能职业规划与求职利器

Y11

找工作 简历 实习 校招 失业

YashanDB CRYPT_HMAC函数

YashanDB

yashandb

YashanDB|JDBC 插入慢?别忽略了“网络带宽”这个瓶颈!

数据库砖家

数据库·

YashanDB |执行 SQL 报 YAS-02024 锁等待超时?可能是默认设置的问题

数据库砖家

数据库·

BOE(京东方)发布行业首个可持续发展品牌“ONE”:以开放创新科技之力守护人类未来

爱极客侠

京东方

从Servlet到云原生:一文讲透Java Web容器的核心技术体系

AI时代的一滴水

tomcat 云原生 Java web

烟草行业信创迁移-企业综合管理平台上线运行

中烟创新

YashanDB CRYPT_SELFTEST函数

YashanDB

yashandb

YashanDB|大事务回滚卡死全库,YAS-02016 报错怎么破?

数据库砖家

数据库·

YashanDB|Mybatis-Plus 无法识别 YashanDB?加一段配置就能解决

数据库砖家

数据库·

Arthas sc(查看JVM已加载的类信息 )

刘大猫

人工智能 监控 Arthas 大模型 sc

基于 Amazon Nova 和 TEN 框架的实时音视频交互解决方案

亚马逊云科技 (Amazon Web Services)

YashanDB CRYPT_HASH函数

YashanDB

yashandb

YashanDB CRYPT_KEY函数

YashanDB

yashandb

估值150亿后,腾讯继续加码「智元机器人」

机器人头条

人形机器人 具身智能 智元机器人

教育考试院存储系统焕新:轻量升级,无缝切换!

天翼云开发者社区

存储 天翼云

YashanDB |掉电后数据库启动报错 core dump?原来是 VMware 默认配置的“锅”!

数据库砖家

数据库·

YashanDB|关闭归档时报 YAS-02079?你可能忘了关闭“复制模式”

数据库砖家

数据库·

「产品功能授权」和「外部开发者授权」的差异

柯杰

授权

浅谈Kafka Streams在实时跟踪和监控系统中的应用_QCon_粟海_InfoQ精选文章