1. 背景

随着大数据技术的发展，大规模数据计算能力已不再是瓶颈，用户对于数据处理的时效性、准确性与稳定性等要求在业务发展中日益突出。贝壳找房自研的秒X实时分析平台可以满足各条业务线获取实时业务指标进行运营和决策，对复杂业务场景进行高效、精准、多维度组合和细粒度的实时数据监控，针对业务具体关注的指标进行实时监控和报警。

2. 架构

秒X实时分析平台架构图

Spark Streaming

目前业界主流的流式数据处理包括Flink、Spark Streaming、Storm，这几种技术的指标比较如下图：

在我们可接受的秒级延迟情况下，选用SparkStreaming能保证较高的吞吐量，且Spark Streaming是建立在Spark上的实时计算框架，基于Spark生态引入成本较低也相对稳定。可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从Kafka、Flume等多种数据源获取数据，从数据源获取数据之后，可以使用多种算子进行复杂算法的处理。
秒X实时分析平台使用SparkStreaming进行数据的解析、清洗、加工。

Druid.io

Druid 是一个分布式的、支持实时多维OLAP分析的数据处理引擎。秒X实时分析平台使用Druid.io进行实时的指标统计、数据分析。我们主要关注Druid的如下特性。

实时分析

Druid提供了包含基于时间维度数据的存储服务，支持流式数据摄入。支持TopN、GroupBy、Filter、Count等即席查询常用方法.

数据吞吐量大

Druid可提供PB级数据亚秒级查询。

查询灵活且快

Druid中数据的聚合粒度可以是分钟级、小时级、日级。部分数据预聚合给Druid提供了很大的性能优化空间。Druid也采用了Bitmap和各种压缩技术来优化内存使用。

Elasticsearch

Elasticsearch是一个高可扩展的开源全文搜索和分析引擎，它允许存储、搜索和分析大量的数据。它通常被用作底层引擎和技术，为复杂的搜索功能和要求提供支持。目前，秒X系统采用ES进行明细数据的检索。

擎和技术，为复杂的搜索功能和要求提供支持。目前，秒X系统采用ES进行明细数据的检索。

3. 快速配置

将接入系统的每个数据源(kafka topic)视为一个任务，通过配置系统可将单个topic中的每一类日志处理为一个事件。对于每一类业务事件配置解析成一系列字段，并可根据用户需要对解析出的字段进行过滤与转换。最后，配置索引以支持日志检索，配置维度与指标以支持业务指标的查询。

4. 数据处理流程

数据采集

收集各数据源日志，目前主要接入kafka，后续公司内部可支持通过域名自动接入。

数据清洗

实时接收kafka中的日志数据，根据用户配置，基于低延迟、高吞吐量的准实时框架Spark Streaming进行清洗、转换。处理过的结构化数据将再次发送到kafka

数据存储

处理后的数据需要存储在存储引擎中供后续查询使用。主要用到的存储引擎有Druid.io、Hbase、Elasticsearch、Redis

数据应用

存储引擎中的数据后续应用，目前包括以下几种:

通过数据可视化配置为看板。关注指标、了解趋势

配置报警。当某项指标或组合指标达到报警条件，会通过邮件或短信及时通知

按条件检索明细数据

提供API接口，供业务系统获取数据

5. 监控和报警

实时监控报警非常重要，在数据出现异常时能够及时通知业务方快速定位问题。秒X平台提供指标聚合与明细检测两种监测方式，按配置的时间片进行定时调度，当拉取到的数据达到用户配置的阈值范围时，采用短信或邮件的方式提醒用户，便于及时发现和解决问题。

6. 可视化

基于已有的数据源，用户可以自助建立OLAP分析模型进行OLAP分析，选择图表格式、任意时间范围、维度与指标、自定义过滤条件进行可视化分析。可以将自助分析结果保存为报表，多个报表组合成一个仪表盘，供集中展示与分析。

7. 检索

明细检索可以为用户提供交互式ES查询。可模糊查询明细日志上下文。

8. 应用实例

安全部门实时数据监控

信息安全作为各大互联网公司关注的重要领域，对实时性要求极高。目前，贝壳找房安全部门使用秒X平台底层技术，对安全指标进行实时的监控。安全部门使用秒X平台的主要应用点有：

1>域名峰值统计

2>域名实时ip访问监控

3>域名访问量实时统计

域名访问量实时统计

kylin查询时间监控报警

kylin作为贝壳找房指标平台后端OLAP引擎，承载着统计分析、运营报表、指标查询等重要作用。kylin引擎目前接入了秒X平台进行指标监控和异常报警。kylin引擎在使用秒X平台的主要应用点有：

1>监控查询平均响应时间，并对超过10s的进行预警

2>各ip查询次数的实时统计

kylin实时监控

kylin异常报警配置

9. 总结

秒X实时分析平台已稳定上线运行一段时间，目前支撑了贝壳找房安全、直营等部门的实时数据分析、监控和报警需求。未来我们将持续优化和提升实时分析能力，简化配置，保证数据的实时准确。随着技术的不断发展，对大数据平台的要求越来越实时化和智能化，作为大数据架构部门，也将不断的探索更好的支撑业务需求的架构和系统，保障业务更好更快发展。

本文转载自公众号贝壳产品技术（ID：gh_9afeb423f390）。

原文链接：

https://mp.weixin.qq.com/s/DFF8YFknZzrOA1ulHdTcog

创作场景

秒 X 平台 - 助力实时分析