大数据时代的崛起

近年来，实时性很强的数据种类越来越多，数据产生的速度越来越快，数据量也越来越大。这些数据在各行各业的重要性毋容置疑。但受技术，设备的限制，实时数据的处理一直是技术领域的难点。

比如说在物联网IoT领域，实时的设备数据可以用来做故障的实时监控和维护性的预测；在金融领域，交易系统的数据需要实时地呈现给客户和被自动交易系统处理；在电商领域，网络销售的数据可以用来做实时推荐和舆情分析；在IT领域，软件系统的日志收集和处理对服务异常报警和故障的检测至关重要；在交通领域，实时的交通数据，可以用来做交通指挥的优化。

比如因新零售拔地而起的电商平台，用户交易数据和后台商品数据是第一手实时数据，此类数据需要实时更新，交给交易系统处理，同时在运营后台呈现。尤其是现在打折，促销，秒杀，砍价等营销模式层出不穷，如果系统出现问题，那么蒙受的损失将会十分巨大。

实时监控设备信息，监管商品交易数据并且做到实时处理，这对于企业来说，将变得非常有必要。

大数据时代的难点

此外，大数据时代，企业都会有自己的推荐系统。传统的个性化推荐系统采用定期对数据进行分析的做法来更新模型。由于是定期更新，推荐模型无法保持实时性，对用户当前的行为推荐结果可能不会非常精准。

实时分析用户产生的数据，可以更准确地为用户进行个性化推荐，同时根据实时的推荐结果进行反馈，但处理实时数据不是一件容易的事情。

主要的困难在于：

① 数据量非常大：系统要求非常高，处理数据的时候，容不得半点故障甚至宕机，实时处理的系统要求也远远高于离线系统，

② 实时处理系统规模跟不上业务增长的需求：很多实时数据(比如金融的K线分析)需要专门的时序数据库技术，而这些技术并不普及。

③ 自行搭建开源组件：比如说Kafka,Storm和HBase，不是一件容易的事情，Hadoop开源组件的部署和运维都需要耗费大量的金钱和人力。

够“快”的华为云三剑客

究其根本，实时数据处理的三个最根本的需求是：数据的接入，数据的实时分析处理，和数据的存储。正对日益增长的在云上来对数据进行实时处理的需求，华为云EI推出了对实时数据处理的“三剑客”：数据接入服务（DIS），实时流计算服务（CS）和表格存储服务（CloudTable）。

数据接入服务（DIS）是华为云提供的完全托管的实时数据接入服务。DIS提供了灵活数据采集、高效数据传输、实时数据分发能力，让您可以轻松构建基于实时数据的分析和应用。
实时流计算服务（CS）是实时流式大数据分析服务，完全托管计算资源和Serverless体验，即时执行Stream SQL、Spark和Flink作业，提供低延时高吞吐的智能流计算平台。
表格存储服务（CloudTable）是基于Apache HBase提供的分布式、可伸缩、全托管的NoSQL数据存储服务，它提供了毫秒级的随机读写能力，适用于海量结构化数据、半结构化数据存储和查询应用。同时基于OpenTSDB和GeoMesa提供时序数据库能力和时空大数据查询、分析能力。

华为云上已经有诸多的客户使用这“三剑客”服务对实时数据进行处理。某燃气集团，通过使用DIS, CS和CloudTable构建了新的覆盖全国的巡线系统，将巡线实时监控系统端到端查询性能从十几秒降低到秒级以内。

某金融初创企业，实时交易行情系统充分利用CloudTable内置的OpenTSDB能力，实时快速刷新15种时间窗的K线行情。某网络零售实时舆情系统，使用DIS接入数据的性价比远远超越线下自建系统，使用CS进行SQL编程轻松完成数据清洗。

大数据时代，用户只会对那些贴心的、实时反馈的、足够“快”的企业表示忠诚。如果你想要更“快”，那么请不要犹豫，来使用华为云的实时数据处理三剑客吧，他带给你的效率和保障超乎你的想象！

本文转载自华为云产品与解决方案公众号。

原文链接：https://mp.weixin.qq.com/s/YgnXMU9ZfujPSvDe6rzVDA

创作场景

华为云实时数据处理“三剑客”