干货分享：智慧工厂时代下大数据 + 智能的深度实践（上）

11 月 23 日，由七牛云主办的主题为「AI 产业技术的渗透与融合」的 NIUDAY 小牛汇共享日在北京举行。会上，七牛云技术总监陈超为大家带来了题为《数据智能时代的智慧工厂实践》的内容分享。

今天要介绍的是智慧工厂的相关内容。本次 NIUDAY 的主题跟 AI 有关，我们这边其实是结合了大数据跟 AI 的技术去帮助大家解决了一些问题。首先我想介绍下我们的产品主要是用来服务哪些场景的。

Pandora 是一个以大数据技术为基础的日志平台，这张图可以非常清晰快速的看到整个产品的全貌。

最前面是收集、清洗等繁杂的工作，后面落地到统一的日志存储，再到搜索、报表、监控告警、AIOps、多维分析、应用市场等等，我们目前有如下几个重点场景:

场景 1： IDC 机房监控。现在整个 IT 行业，尤其是传统企业的变革是非常大的。国内不少的银行、基金公司、运营商等都是在用我们这套东西，帮他们做一个统一的、精细化的分析与管理。以前运维就是运维，用一些非常简单的运维软件收集他们的数据，但是现在的新趋势是：把运维当做运营来做，并且做的非常精细。

上图是一个银行客户的网络设备监控，但实际上大家会看到，所呈现的不是一个监控告警的东西，而是帮他做了很多报表，做了很多智能分析、预测。这是非常有用的，我们接下来的做法是把一些智能技术快速融入到一些非常传统的场景里面，去帮他解决实际问题。

场景 2：应用质量的管理。目前有很多客户都在用我们应用质量的监控。具体主要是监控告警+检索+全链路分析+趋势预测。

这也是一家银行的具体案例，他们采用的是 Tomcat + Spring + MyBatis 这种架构。当时给我们的要求是，他要做到业务代码全链路的端到端的监控，并且要求快速检索所有的日志。我们帮他们解决的问题在于端到端的全链路的监控，每一步的调用、耗时、出的问题都可以直接展示出来。对方得到的价值在于，几乎不用改代码就能知道整个交易系统里面的底层执行情况。

场景 3：安全审计。所有企业无论是互联网企业还是传统企业，他们对安全越来越重视，所以大家看到 Windows 服务器事件、防火墙日志、VPN 日志等等全部要采集起来做分析。之前的做法其实是和硬件厂商合作，他们的规则非常死，也没有办法做特别复杂的分析，尤其没办法做关联分析，因为各家硬件厂商只顾自己的数据，而我们相当于把全部都串起来了，并且非常灵活。

这是一个非常典型的例子，在国内也是一个非常大的 IDC 的提供商，他利用平台做了各种各样网络访问的分析，包括 IP 分析、域名分析等等。这样给他带来的价值在于：现在 IDC 的压力很大，只要出现一些不法的网站在你那里运行着，你可能就要背锅；另外，有些外部的黑客对于 IDC 的攻击越来越厉害，并且呈现了一定的规律，怎么帮他更好的分析，我们这边也做了很多的工作。

场景 4：统一的日志管理平台。实际上七牛云自己就在使用这套东西，每天往这里面灌入数据。在会前，我刚刚看了一下，昨天公司内部往里面灌的裸数据应该是 200 多个 T，包括运维数据、线上的一些审计日志的数据等等，每天裸数据是 200T，非常庞大。这些数据其实是统一采集、统计，汇聚到统一的日志里面做存储。

大家可以看到，图上右边每一个部门其实都在用这些数据来做具体的事情。可以看到以前很多部门跟数据其实没有关系，例如质量保障部、业务运维部等等，现在他们运用数据做大量的数据，尤其是运维部现在对整个公司的资产。因为七牛云服务器特别多，需要做非常精细化的管理。比如以前一个部门说服务器不够了，需要增加几百台，可能很容易就批了，但现在如果没有把资源用好，就不会批了。

此外目前有不少银行也在采用我们这一套产品作为统一的日志分析平台。

场景 5：网络监控报警去重降噪。报警太多了，告警风暴出来，也不能给出一些建议，也不知道是在什么地方出了问题。我们帮助解决了一些告警的合并策略，包括根因分析等等，甚至可以给出告警的报表。我们已经在公有云上线了全新的告警云平台，非常的强大和人性化，欢迎大家体验使用。

场景 6：CDN 质量分析。这个很多互联网公司都在用。我们的特点在于，之前的 CDN 公司，很难做到每一条访问日志的都可以被快速检索，而我们这边可以精细化到每一条访问日志，任意一个人在任意一个运营商，任意一个地点去点一个东西都能追踪到，但缺点就是成本相对高一些，所以这方面我们也在做大量的优化。