【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

基于 Elastic Stack 的日志分析系统

  • 2019-11-07
  • 本文字数:1822 字

    阅读完需:约 6 分钟

基于Elastic Stack的日志分析系统

Elastic Stack 简介

Elastic Stack 是 Elastic 公司旗下的一系列软件总称,包括 Elasticsearch、Logstash、Kibana 和 Beats。Elasticsearch 是一个分布式搜索引擎,负责数据的存储、查询,支持高并发的写入与查询;Logstash 是动态数据收集管道,可以进行数据的清洗、格式化等处理;Kibana 是基于 Elasticsearch 的数据可视化平台,提供种类丰富的图表来呈现数据;Beats 通常部署在生产环境下,扫描日志文件并向 Elasticsearch 或 Logstash 发送数据,在本文中我们使用 FileBeat。


Elastic Stack 的应用非常广泛,常见的有日志管理与分析、指标分析、性能监测、应用搜索等。本篇文章中我们借助腾讯云的 Elasticsearch、使用 Elastic Stack 搭建自动化流转过程的监控与统计系统。

准备工作

  • 日志消息协议


前边提到,Logstash 是可以进行数据处理的,所以对于日志文件的格式并没有要求,只需要后期在 Logstash 处借助 grok 进行格式化即可。方便起见,在本次使用中我们统一了日志消息协议,并统一使用 json 格式单独存储,因此省去了 Logstash 处的格式化操作。



图 1. 自动化流转日志消息协议


图 1 为我们定义的日志协议,其中 log_type 字段用于在 Elasticsearch 中建立索引(相当于我们熟悉的数据表),phase、finish_time 是我们后期监控与统计主要的划分维度,miles 是我们监控的指标。其他的一些字段是我们业务中会使用到的信息,主要用于后期统计使用。


  • 日志获取方式


在我们的使用中,日志的产生源有两大类:已完成开发的和正在进行开发的。对于前者,为了避免重新开发带来的工作量,我们采取定时扫库的方式“自给自足”的产生日志消息;对于后者,我们要求开发根据上述日志消息协议生产日志。两种日志都需要通过部署在环境内的 FileBeat 发送至 Logstash,再由 Logstash 发送至 Elasticsearch 中。

数据接入

  • 日志的准备


以 Python 为例,将日志消息 msg 使用 fp.write(json.dumps(msg))输出到文件中


  • Beats-Logstash-Elasticsearch 接入

  • Logstash 配置(conf)


input {  beats {      port => 8888      codec => "json"  }}
output { elasticsearch { hosts => ["<elasticsearch_ip>:<elasticsearch_port>"] index => "%{log_type}" } stdout { codec => rubydebug }}
复制代码


上述配置中,Logstash 监听本地 8888 端口、并使用 json 解码器对消息进行解析。对于解析后的消息,根据消息中的 log_type 字段发送至 Elasticsearch 对应的索引中,同时在命令行中输出。


  • Logstash 启动


./bin/logstash -c logstash.conf(可以使用 nohup)


  • FileBeat 配置(yml)


filebeat.inputs:- type: logenabled: truepaths:- /usr/local/app/wsd_cron_agent/script/logs/*.logoutput.logstash:hosts: ["<logstash_ip>:<logstash_port>"]
复制代码


上述配置中,FileBeat 定时扫描/usr/local/app/wsd_cron_agent/script/logs/路径下的 log 文件,发送至远端的 Logstash 处。


  • FileBeat 启动


./filebeat -e -c filebeat.yml(可以使用 nohup)


接下来 FileBeat 和 Logstash 就会自动将路径下的日志文件传输至 Elasticsearch 了。

Kibana 可视化

对于第一次接入的数据,首先要做的是创建索引,操作方法是[Management]->[Index Patterns]->[Create Index Pattern]->Index pattern 中输入索引名->单击[Create]



图 2. Kibana 建立索引


之后是使用 Kibana 自带的 visualize 进行数据的可视化,这里就是根据自身需求进行设置即可。可以在 Dashboard 中制作一个自定义的监控窗口,可以清楚直接的看到各个自动化流程的运转情况。



图 3. 地图中业流转 Dashboard

一些需要注意的问题 & 可以改进的地方

总的来说,Elastic Stack 搭建日志分析系统是非常简单、方便的,不过需要注意以下几点:


  • Elasticsearch 是一种非关系型数据库,不能做连表查询操作,因此必须将所有信息都放在一条消息/一例数据中

  • 请避免重复日志消息的产生

  • 目前得到的消息是腾讯云在和 Elastic 官方谈合作,之后会有一些插件(如报警功能)加入,使得监控和分析功能更加强大


由于之前没有接触过 Elastic Stack,所以也是磕磕碰碰的做了一些尝试,一些地方为了避免出错做了简化,之后可以再进一步优化以提升性能:


  • 需要单独产生日志消息,对于开发不够方便;可以考虑在 Logstash 出增加 grok 操作对日志进行格式化后再送入 Elasticsearch

  • FileBeat 和 Logstash 的负载均衡存在进一步提升的可能


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接:


https://mp.weixin.qq.com/s/G473oMCOldT6wFtjqM6A3w


2019-11-07 18:141208

评论

发布
暂无评论
发现更多内容

【Linux技术专题】「夯实基本功系列」带你一同学习和实践操作Linux服务器必学的Shell指令(排查问题指令 - 下)

洛神灬殇

Linux 日志处理 Shell指令 查询日志 2024年第二十篇文章

数值计算: 精度、溢出、舍入

西格玛

数仓如何递归查询视图依赖

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 华为云GaussDB(DWS)

Koordinator v1.4 正式发布!为用户带来更多的计算负载类型和更灵活的资源管理机制

阿里巴巴云原生

阿里云 云原生 Koordinator

Live Home 3D Pro for Mac(苹果电脑3D室内家居设计软件)

Rose

Mac软件 Live Home 3D Pro 家居设计软件 Live Home 室内设计

2024-01-24:用go语言,已知一个n*n的01矩阵, 只能通过通过行交换、或者列交换的方式调整矩阵, 判断这个矩阵的对角线是否能全为1,如果能返回true,不能返回false。 我们升级一下:

福大大架构师每日一题

福大大架构师每日一题

夏志刚介绍

管理在线

企业战略管理体系 企业精益管理体系 企业创新管理类体系 企业培训体系 企业标准化管理体系

使用navicat误删mongodb数据库 能够找回吗?

百度搜索:蓝易云

mongodb Linux 运维 云服务器 navicat

Programming Abstractions in C阅读笔记:p248-p253

codists

权威媒体评选:2023年25个最佳开源软件

SEAL安全

开源 AI LLMs

CDP技术系列(三):百万级QPS的人群命中服务接口性能优化指南

京东科技开发者

期待已久!阿里云容器服务 ACK AI 助手正式上线

阿里巴巴云原生

阿里云 容器 云原生

如何从 Jira 成功迁移到极狐GitLab,看这个就够了!

极狐GitLab

CDP技术系列(二):ClickHouse+Bitmap实现海量数据标签及群体组合计算

京东科技开发者

光纤的跳线和尾纤

小齐写代码

提高Nginx网络吞吐量之buffers优化教程

百度搜索:蓝易云

nginx 云计算 运维 云服务器 buffers

CentOS7下通过sshfs挂载sftp资源教程

百度搜索:蓝易云

centos 运维 云服务器 sftp sshfs

K8s集群CoreDNS监控告警最佳实践

华为云开发者联盟

开发 华为云 k8s集群 华为云开发者联盟

mac系统u盘启动盘制作教程,更新至macOS Sonoma 14

Rose

mac系统

左耳听风 - 时间管理「读书打卡 day 15」

Java 工程师蔡姬

读书笔记 程序员 个人成长 时间管理 职业发展

uniapp+unicloud开发一个网页端,小程序端,APP端,桌面端的博客CMS系统——万能的三三

万能的三三

JavaScript 小程序 uni-app CMS 博客

什么是网络地址转换协议

郑州埃文科技

有挑战才有收获!PaddleOCR算法模型挑战赛火热开启!

飞桨PaddlePaddle

人工智能 算法 大赛 百度飞桨 算法模型

10分钟白嫖一套监控系统

Yestodorrow

可观测性 用户体验 网站监控 # 监控系统

CDP技术系列(一):使用bitmap存储数十亿用户ID的标签或群体

京东科技开发者

Kube Queue:Kubernetes 任务排队的利器

阿里巴巴云原生

阿里云 Kubernetes Kuber 云原生

应用监控 eBPF 版:实现高效协议解析的技术探索

阿里巴巴云原生

阿里云 云原生 可观测

DRM音频格式转换好帮手-NoteBurner iTunes DRM Audio Converter 兼容M1和macos14系统

Rose

DRM 音频转换器

融合创新:传统企业数字化转型的业务、战略、操作和文化变革

天津汇柏科技有限公司

数字化转型

Apache Dubbo 下一代云原生微服务挑战赛启动报名!五大赛题 50 万奖金池

阿里巴巴云原生

Apache 阿里云 云原生 dubbo

云原生网关哪家强:Sealos 网关血泪史

阿里巴巴云原生

阿里云 云原生 Sealos

基于Elastic Stack的日志分析系统_文化 & 方法_王政飞_InfoQ精选文章