Logz.io 提供了基于机器学习的日志分析

Logz.io 提供了一种使用机器学习进行智能日志分析的托管服务。该服务能够从人类与日志数据的交互中获得新的观点，这些日志数据包括技术论坛上的讨论内容和公共代码库。

DevOps 团队使用 ELK 这类日志分析工具中心化了日志的聚合和索引过程，但是现代应用正快速地生成大量的日志和度量指标，日志的庞大规模使得日志分析工作难以顺利进行。另一方面，所采集度量指标的数量也在快速地增长，这导致传统监测工具只能用来做数据展示。数据在规模上的增长也导致了基于阈值的报警不再适用，这也引发了异常检测系统的异军突起，这些系统包括 Anomaly.io 、 Datadog 和 SumoLogic ，以及 Etsy 的 Skyline 这样的开源系统。

相比异常检测系统而言，Logz.io 所提供的服务更进了一步，它给出了对异常情况的深层见解，这些见解是通过在人们的网络交互数据上进行机器学习得出的。这些数据中包括在 StackOverflow 和 Github 这样的网站上对类似异常情况的讨论。如果单纯地使用 Google 搜索异常情况，这常会出现大量的搜索结果，Logz.io 是如何做到对相关结果的过滤的呢？InfoQ 联系了 Logz.io 公司的 CEO 和联合创始人 Tomer Levy，他对此做了详述：

Logz.io 使用了机器学习技术去理解线索的情境、线索所指的产品、是否有解决方案以及提问者对给出的方案是否满意。我们还拿自有的用户数据跟这些线索进行交叉引用。

此外，Levy 还指出：“在给出了对用户关注的见解后，我们进而基于他 / 她对该见解的反馈情况对它们之间的相关性进行评估。”这就实现了一种反馈闭环，使得该服务系统可以与时俱进。

很多现代的软件产品都是使用开源程序库构建的，因此大部分情况下在因特网上搜索这些产品的某个错误或异常都会给出搜索结果。但也应考虑到在极少数情况下，还有一些产品是完全从头构建的，没有使用任何公开可用的代码。对此，Logz.io 计划在未来发布一种“非公开见解”，允许组织定义自己的异常和异常的相关细节。

Logz.io 采用了 Elasticsearch-Logstash-Kibana（ELK）技术栈作为后台，提供的服务托管在 Logz.io 私有云上，这意味着日志数据必须要从各个应用端传输到该私有云中。对那些部署了自有 ELK 的组织来说，Logz.io 提供了本地日志传输器，帮助这些组织将数据安全传输到 Logz.io 云上。

作为对如何解决企业所关注的数据安全问题的回应，Levy 说道：

在数据安全方面，我们投入大量精力在数据加密和全面的安全流程上。Logz.io 聘请了安永会计师事务所对安全基础设施和流程进行审计，并在近期通过了欧盟对 SOC 2 II 型报告和 ISO-27001 标准的合规审计。此外，公司的数据是在美国托管的。为确保遵守欧盟的法规，基于欧盟的企业可以选择将数据放在法兰克福保存。

查看英文原文： Logz.io Offers Machine Learning Based Log Analysis

感谢薛命灯对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作，请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博（ @InfoQ ， @丁晓昀），微信（微信号： InfoQChina ）关注我们。