华为云实时数据处理“三剑客”

快是企业发展的生存之道，抓住商机，快速反应，面对市场，迅速转型。大数据时代的快就是对数据的反应速度。

实时数据是从过程控制系统中实时采集的数据、向过程控制系统实时发送的数据以及对实时数据进行各种实时计算直接产生的中间数据。而对于实时数据的处理就是这“快”的关键。

大数据时代的崛起

近年来，实时性很强的数据种类越来越多，数据产生的速度越来越快，数据量也越来越大。这些数据在各行各业的重要性毋容置疑。但受技术，设备的限制，实时数据的处理一直是技术领域的难点。

比如说在物联网 IoT 领域，实时的设备数据可以用来做故障的实时监控和维护性的预测；在金融领域，交易系统的数据需要实时地呈现给客户和被自动交易系统处理；在电商领域，网络销售的数据可以用来做实时推荐和舆情分析；在 IT 领域，软件系统的日志收集和处理对服务异常报警和故障的检测至关重要；在交通领域，实时的交通数据，可以用来做交通指挥的优化。

比如因新零售拔地而起的电商平台，用户交易数据和后台商品数据是第一手实时数据，此类数据需要实时更新，交给交易系统处理，同时在运营后台呈现。尤其是现在打折，促销，秒杀，砍价等营销模式层出不穷，如果系统出现问题，那么蒙受的损失将会十分巨大。

实时监控设备信息，监管商品交易数据并且做到实时处理，这对于企业来说，将变得非常有必要。

大数据时代的难点

此外，大数据时代，企业都会有自己的推荐系统。传统的个性化推荐系统采用定期对数据进行分析的做法来更新模型。由于是定期更新，推荐模型无法保持实时性，对用户当前的行为推荐结果可能不会非常精准。

实时分析用户产生的数据，可以更准确地为用户进行个性化推荐，同时根据实时的推荐结果进行反馈，但处理实时数据不是一件容易的事情。

主要的困难在于：

① 数据量非常大：系统要求非常高，处理数据的时候，容不得半点故障甚至宕机，实时处理的系统要求也远远高于离线系统，

② 实时处理系统规模跟不上业务增长的需求：很多实时数据(比如金融的 K 线分析)需要专门的时序数据库技术，而这些技术并不普及。

③ 自行搭建开源组件：比如说 Kafka,Storm 和 HBase，不是一件容易的事情，Hadoop 开源组件的部署和运维都需要耗费大量的金钱和人力。

够“快”的华为云三剑客

究其根本，实时数据处理的三个最根本的需求是：数据的接入，数据的实时分析处理，和数据的存储。正对日益增长的在云上来对数据进行实时处理的需求，华为云 EI 推出了对实时数据处理的“三剑客”：数据接入服务（DIS），实时流计算服务（CS）和表格存储服务（CloudTable）。

• 数据接入服务（DIS）是华为云提供的完全托管的实时数据接入服务。DIS 提供了灵活数据采集、高效数据传输、实时数据分发能力，让您可以轻松构建基于实时数据的分析和应用。

• 实时流计算服务（CS）是实时流式大数据分析服务，完全托管计算资源和 Serverless 体验，即时执行 Stream SQL、Spark 和 Flink 作业，提供低延时高吞吐的智能流计算平台。

• 表格存储服务（CloudTable）是基于 Apache HBase 提供的分布式、可伸缩、全托管的 NoSQL 数据存储服务，它提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。同时基于 OpenTSDB 和 GeoMesa 提供时序数据库能力和时空大数据查询、分析能力。

华为云上已经有诸多的客户使用这“三剑客”服务对实时数据进行处理。某燃气集团，通过使用 DIS, CS 和 CloudTable 构建了新的覆盖全国的巡线系统，将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。

某金融初创企业，实时交易行情系统充分利用 CloudTable 内置的 OpenTSDB 能力，实时快速刷新 15 种时间窗的 K 线行情。某网络零售实时舆情系统，使用 DIS 接入数据的性价比远远超越线下自建系统，使用 CS 进行 SQL 编程轻松完成数据清洗。

大数据时代，用户只会对那些贴心的、实时反馈的、足够“快”的企业表示忠诚。如果你想要更“快”，那么请不要犹豫，来使用华为云的实时数据处理三剑客吧，他带给你的效率和保障超乎你的想象！

本文转载自 华为云产品与解决方案 公众号。

原文链接：https://mp.weixin.qq.com/s/YgnXMU9ZfujPSvDe6rzVDA