搭建云上日志收集分析系统（一）_运维_亚马逊云科技 (Amazon Web Services）

免费下载！由 O’Reilly 出版的《NGINX 完全指南》中文版已正式上线了解详情 



 写点什么

背景说明

应用系统的日志收集与分析工作对运维来说至关重要。常见的系统解决方案中开源技术栈 ELK（Elastic Stack: Elasticsearch, Logstash, Kibana）是当前比较流行的选择。下面我们会讨论另一种构建于云原生设计的类似于 ELK 的解决方案 EKK（Amazon Elasticsearch Service, Amazon Kinesis, and Kibana）。

EKK 的优势在于组件是 AWS 托管服务，不必自己安装、运维，并且与 AWS 的其它服务轻松集成，可以很轻松的部署一套可靠、可扩展、安全、容错以及解耦和基于事件的解决方案。

传统的 Elasticsearch 中，日志数据的不断膨胀，对数据的生命周期管理越来越重要（应对此需求的新功能 ILM(index lifecycle management)在 Elasticsearch 7.0 中闪亮登场）。本文不介绍 ILM，介绍另一种解决方案：使用 Lambda 配合实现数据的轮换。

文中使用的 AWS 服务简介

1. Amazon Elasticsearch Service

是一项完全托管的服务，方便您部署、保护和运行大量 Elasticsearch 操作，且不用停机。该服务提供开源 Elasticsearch API、受托管的 Kibana 以及与 Logstash 和其他 AWS 服务的集成，支持您安全获取任何来源的数据，并开展实时搜索、分析和可视化。

2. Amazon Kinesis Firehose

Firehose 是将流数据可靠地加载到数据湖、数据存储和分析工具的最简单方式。它可以捕获、转换流数据并将其加载到 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 和 Splunk，让您可以借助正在使用的现有商业智能工具和控制面板进行近乎实时的分析。这是一项完全托管的服务，可以自动扩展以匹配数据吞吐量，并且无需持续管理。它还可以在加载数据前对其进行批处理、压缩和加密，从而最大程度地减少目的地使用的存储量，同时提高安全性。

本文中，Firehouse 会获取并自动加载日志的流式数据到 Amazon ES 里，并在 S3 中还会再进行一次备份。

3. AWS Lambda

通过 AWS Lambda，无需预置或管理服务器即可运行代码。您只需按使用的计算时间付费 – 代码未运行时不产生费用。

借助 Lambda，您几乎可以为任何类型的应用程序或后端服务运行代码，而且完全无需管理。只需上传您的代码，Lambda 会处理运行和扩展高可用性代码所需的一切工作。您可以将您的代码设置为自动从其他 AWS 产品触发，或者直接从任何 Web 或移动应用程序调用。

本文中使用 Lambda 实现 Elasticsearch Index 的 rotate 功能，将历史数据从 ES 中移除，解决由历史数据太大造成的性能下降，成本上升等问题。

并使用 Lambda 实现了，将 S3 中的历史数据文件 Load 回 ES，借助 ES 进行临时性历史日志分析。

4. Amazon CloudWatch

Amazon CloudWatch 是一种面向开发运营工程师、开发人员、站点可靠性工程师 (SRE) 和 IT 经理的监控和可观测性服务。CloudWatch 为您提供相关数据和切实见解，以监控应用程序、响应系统范围的性能变化、优化资源利用率，并在统一视图中查看运营状况。CloudWatch 以日志、指标和事件的形式收集监控和运营数据，让您能够在统一查看在 AWS 和本地服务器上运行的资源、应用程序和服务。您可以使用 CloudWatch 检测环境中的异常行为、设置警报、并排显示日志和指标、执行自动化操作、排查问题，以及发现可确保应用程序正常运行的见解。