10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

基于 Elastic Stack 的日志分析系统

  • 2019-11-07
  • 本文字数:1822 字

    阅读完需:约 6 分钟

基于Elastic Stack的日志分析系统

Elastic Stack 简介

Elastic Stack 是 Elastic 公司旗下的一系列软件总称,包括 Elasticsearch、Logstash、Kibana 和 Beats。Elasticsearch 是一个分布式搜索引擎,负责数据的存储、查询,支持高并发的写入与查询;Logstash 是动态数据收集管道,可以进行数据的清洗、格式化等处理;Kibana 是基于 Elasticsearch 的数据可视化平台,提供种类丰富的图表来呈现数据;Beats 通常部署在生产环境下,扫描日志文件并向 Elasticsearch 或 Logstash 发送数据,在本文中我们使用 FileBeat。


Elastic Stack 的应用非常广泛,常见的有日志管理与分析、指标分析、性能监测、应用搜索等。本篇文章中我们借助腾讯云的 Elasticsearch、使用 Elastic Stack 搭建自动化流转过程的监控与统计系统。

准备工作

  • 日志消息协议


前边提到,Logstash 是可以进行数据处理的,所以对于日志文件的格式并没有要求,只需要后期在 Logstash 处借助 grok 进行格式化即可。方便起见,在本次使用中我们统一了日志消息协议,并统一使用 json 格式单独存储,因此省去了 Logstash 处的格式化操作。



图 1. 自动化流转日志消息协议


图 1 为我们定义的日志协议,其中 log_type 字段用于在 Elasticsearch 中建立索引(相当于我们熟悉的数据表),phase、finish_time 是我们后期监控与统计主要的划分维度,miles 是我们监控的指标。其他的一些字段是我们业务中会使用到的信息,主要用于后期统计使用。


  • 日志获取方式


在我们的使用中,日志的产生源有两大类:已完成开发的和正在进行开发的。对于前者,为了避免重新开发带来的工作量,我们采取定时扫库的方式“自给自足”的产生日志消息;对于后者,我们要求开发根据上述日志消息协议生产日志。两种日志都需要通过部署在环境内的 FileBeat 发送至 Logstash,再由 Logstash 发送至 Elasticsearch 中。

数据接入

  • 日志的准备


以 Python 为例,将日志消息 msg 使用 fp.write(json.dumps(msg))输出到文件中


  • Beats-Logstash-Elasticsearch 接入

  • Logstash 配置(conf)


input {  beats {      port => 8888      codec => "json"  }}
output { elasticsearch { hosts => ["<elasticsearch_ip>:<elasticsearch_port>"] index => "%{log_type}" } stdout { codec => rubydebug }}
复制代码


上述配置中,Logstash 监听本地 8888 端口、并使用 json 解码器对消息进行解析。对于解析后的消息,根据消息中的 log_type 字段发送至 Elasticsearch 对应的索引中,同时在命令行中输出。


  • Logstash 启动


./bin/logstash -c logstash.conf(可以使用 nohup)


  • FileBeat 配置(yml)


filebeat.inputs:- type: logenabled: truepaths:- /usr/local/app/wsd_cron_agent/script/logs/*.logoutput.logstash:hosts: ["<logstash_ip>:<logstash_port>"]
复制代码


上述配置中,FileBeat 定时扫描/usr/local/app/wsd_cron_agent/script/logs/路径下的 log 文件,发送至远端的 Logstash 处。


  • FileBeat 启动


./filebeat -e -c filebeat.yml(可以使用 nohup)


接下来 FileBeat 和 Logstash 就会自动将路径下的日志文件传输至 Elasticsearch 了。

Kibana 可视化

对于第一次接入的数据,首先要做的是创建索引,操作方法是[Management]->[Index Patterns]->[Create Index Pattern]->Index pattern 中输入索引名->单击[Create]



图 2. Kibana 建立索引


之后是使用 Kibana 自带的 visualize 进行数据的可视化,这里就是根据自身需求进行设置即可。可以在 Dashboard 中制作一个自定义的监控窗口,可以清楚直接的看到各个自动化流程的运转情况。



图 3. 地图中业流转 Dashboard

一些需要注意的问题 & 可以改进的地方

总的来说,Elastic Stack 搭建日志分析系统是非常简单、方便的,不过需要注意以下几点:


  • Elasticsearch 是一种非关系型数据库,不能做连表查询操作,因此必须将所有信息都放在一条消息/一例数据中

  • 请避免重复日志消息的产生

  • 目前得到的消息是腾讯云在和 Elastic 官方谈合作,之后会有一些插件(如报警功能)加入,使得监控和分析功能更加强大


由于之前没有接触过 Elastic Stack,所以也是磕磕碰碰的做了一些尝试,一些地方为了避免出错做了简化,之后可以再进一步优化以提升性能:


  • 需要单独产生日志消息,对于开发不够方便;可以考虑在 Logstash 出增加 grok 操作对日志进行格式化后再送入 Elasticsearch

  • FileBeat 和 Logstash 的负载均衡存在进一步提升的可能


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接:


https://mp.weixin.qq.com/s/G473oMCOldT6wFtjqM6A3w


2019-11-07 18:141577

评论

发布
暂无评论
发现更多内容

Android性能优化之启动优化实战篇!架构师必备技能

欢喜学安卓

android 程序员 面试 移动开发

Linux df命令

一个大红包

4月日更

近期某大厂的技术面试题及答案整理

程序员架构进阶

面试 28天写作 算法面经 线上问题 4月日更

关于Webpack4 基础配置介绍

Chalk

Vue webpack 4月日更

Android面试你必须要知道的那些知识,重难点整理

欢喜学安卓

android 程序员 面试 移动开发

与JVM做朋友系列(1)你好,Class字节码

码界西柚

JVM class bytecode 字节码

架構設計訓練營作業1

海罗沃德

架构实战营

喂~ 办章吗?Python OpenCV 互联网+ 项目,图像处理取经之旅第 18 天

梦想橡皮擦

Python OpenCV 4月日更

大数据计算生态之数据计算(二)

小舰

4月日更

Flink TaskManager 内存模型详解

JasonLee实时计算

flink

Vue3源码 | 读懂keep-alive组件以及缓存机制

梁龙先森

源码分析 大前端 Vue3

如何在Deno中使用 Node 模块?

Sakura

4月日更

回归本我还是追逐名利,技术人在中年危机下的抉择?

刘华Kenneth

管理 职场 中年危机

ARST- 日常打卡2

pjw

Netty 核心源码解读 —— EventLoop 篇

松然聊技术

「Android渲染」为什么alpha渲染性能低?

李小四

Android渲染 Alpha 渲染

与JVM做朋友系列(3)又见Class字节码

码界西柚

JVM X86 stack register

元数据管理—动态表单设计器在crudapi系统中完整实现

crudapi

API crud crudapi 动态表单 表单设计

与JVM做朋友系列(2)再见类加载器

码界西柚

JVM ClassLoader 类加载器

去面试,公司问我生辰八字。

yes

面试

3.3 Go语言从入门到精通:包管理工具之Govendor

xcbeyond

Go 语言 4月日更 vendor

GitHub开源城市结构公交路线数据可视化

不脱发的程序猿

GitHub 开源 智慧交通 4月日更 公交路线数据可视化

树莓派第一天的各种坑

IT蜗壳-Tango

4月日更

架构实战营-课后作业-模块1

模块一作业

c

架构实战营

「Android Binder」AIDL中的 in / out 到底是啥?

李小四

android aidl binder inout

架构实战营 模块1 课后作业

唐高为

架构实战营

【LeetCode】森林中的兔子Java题解

Albert

算法 LeetCode 4月日更

【LeetCode】最长公共子序列Java题解

Albert

算法 LeetCode 4月日更

路过春天

小天同学

思考 个人感悟 4月日更

Redis 集群

escray

redis 学习 极客时间 Redis 核心技术与实战 4月日更

基于Elastic Stack的日志分析系统_文化 & 方法_王政飞_InfoQ精选文章