运营商如何实现业务的全面化实时监控展示?——Pandora 日志大数据平台实战分享

阅读数:127 2019 年 11 月 26 日 10:26

运营商如何实现业务的全面化实时监控展示?——Pandora日志大数据平台实战分享

随着数据收集的渠道和维度不断跃升,海量数据中蕴含的价值,正越来越多地受到关注。更加精准的产品运营分析,更加高效的运营效率,更有说服力的利润增长点,无不依赖于对业务数据的深入分析与挖掘。

运营商作为数据服务的提供者,在数据的广度上拥有与生俱来的优势,面对这样一座纷繁庞杂却价值无穷的数据金矿,如何使之真正成为促进业务产品发展的有效资源,是亟待解决的问题。而进行业务全面化的实时监控便是良策。实现业务全面化的实时监控,宛如装配上先进的探测雷达,让数据不再沉默,为精细化运营提供数据支撑,使未来业务增长有迹可循。

行业客户关键词解析:数字电视 + 运营

数字电视作为发展迅猛的新媒体渠道,是客户的重要业务之一。其用户遍布全国 23 个省份,总数高达 2000 余万。

与此同时,客户作为国内知名运营商的研发机构,掌控着丰富的网络资源,提供基于基础网络的相关服务。伴随数字电视产品不断演进,市场对于服务提出了更高的要求,我们如何能够提供给用户更加优质的视频播放质量?如何能够更加快速响应用户对于问题的反馈?如何结合用户使用习惯提供更加贴心的服务?

透过市场真实的反馈,亟待我们解决的问题逐渐清晰起来:作为行业内一流的研发机构,旨在利用海量的数据资源,基于业务数据进行产品运营分析,从而优化体验、创新服务模式、增加用户粘性,提升产品和服务在市场的竞争力。

仔细检查这些市场需求,我们发现一切诉求最终核心指向了一个关键词:数据。如果没有可靠、实时的数据,没有能够支撑大数据量的计算平台,没有灵活易用的数据可视化工具,就无法支撑实时的质量分析和需求响应,这一切市场需求的满足就无从谈起。

早期解决方案:Hadoop 套件 + RDS + 定制可视化系统

为了解决这些问题,客户引入了业内非常标准的 Hadoop 生态的解决方案。采用数字电视设备安装探针,收集海量的性能分析和运营数据,通过比较常规的大数据手段,首先将数据接收到消息队列,使用 flume 等工具将数据归档至 HDFS,使用 Spark / Hive 等工具做较为复杂的离线 ETL 加工,将聚合结果数据导入 RDS 数据库,最终研发团队结合数据进行可视化展示。

运营商如何实现业务的全面化实时监控展示?——Pandora日志大数据平台实战分享

这套架构在相当一段时间内都运转较为良好,但是伴随着业务飞速发展
,这套架构中间的问题也逐渐暴露出来:

实时性难以满足业务需求:

这套组织架构的核心是离线 ETL 加工,离线的属性导致了数据延迟性比较高,按日统计每天的运营报告逐渐不能满足日益增多的用户和运营需求。比如当出现区域性的视频播放问题的时候,或者有大量用户投诉视频播放质量的时候,无法及时跟进分析根因和响应用户的需求。

可视化产出价值困难:

Hadoop 平台无法直接输出大屏展示,需要配合专业的可视化展示工具,展示效果需要专业的团队进行定制。由于开源的可视化软件往往没有较为精美且灵活的大屏展示能力,想要做出高质量的可视化分析、展示大屏需要客户投入大量的人力资源。导致开发周期长,想法落地慢。

技术栈较多,维护复杂:

Hadoop 生态平台技术栈很多,需要完成一个业务目标需要很多不同的技术组件。客户需要专业的大数据公司负责日常运营,成本高企不下。另外对于数据分析的需求新增和变更都需要专业工程师参与,无法及时响应业务要求。

面对以上种种问题,找到一个具有技术前瞻性的数据分析展示平台,来对接已有的日志数据,就显得尤为重要。

Pandora :实时的业务运营分析系统

针对以上的痛点和现状,客户选择七牛云 Pandora 日志大数据平台。Pandora 日志大数据平台,包含了强大的 Logkit 开源的数据收集组件,支持与客户大量的数据源进行集成;包含了丰富功能的 Pipeline,支持丰富的流式计算 / 导出等工具,在数据进入系统时就可以满足大量实时的运算需求;Insight 平台支持统一日志存储,将日志数据进行索引和存储,可以对数据进行实时的分析和可视化。

运营商如何实现业务的全面化实时监控展示?——Pandora日志大数据平台实战分享

Insight 支持灵活丰富的可视化工具,可以帮助非专业工程师通过图形化界面,轻松针对查询和计算分析结果,搭建专业水准的可视化应用,目前支持如折线图、区域图、柱状图、饼图、地图、单值图、雷达图、散点图、气泡图、数据表格、富文本、气泡地图、迁徙图、桑基图、关系图等 30 多种图表类型,满足运营运维监控、风险预警等多种业务展示需求。

在易用性的基础上,Pandora 日志大数据平台也为用户提供足够深度的分析结果,涵盖部署分布情况、整体开机率、在线率、上报率、月新增探针数、电视机品牌分布、机顶盒品牌分布、视频质量分析等各项业务指标;机顶盒分省上报的数据量、终端量、业务使用的实时统计,包括当天上报的总记录数、分版本的记录数、当天上报的总终端数量、分时在线终端数、直播点播分别的在线观看用户数。

而充分详实的大屏内容,可让数据第一时间高速直达实现态势感知,自内而外地形成了高效可用的解决方案。

优势赋能行业,价值带来提升

在客户接入 Pandora 日志大数据平台后,数据实时统计周期有效缩短,日常运营技术要求明显降低,关键运营指标均有显著提升。

实时高效,成本降低

对比以往,数据的聚合分析时间由日级提升至秒级,在实时数据分析引擎的支持下,海量数据可实时分析,曾经需要几个小时来完成的数据计算和展示,现在可做到实时查看。

数据可视,生动友好

Pandora 数据可视化模块用更生动、友好的形式,呈现隐藏数据背后的业务玄机。通过交互式实时数据可视化大屏,实现态势感知。

简单易用,灵活调整

数据分析提供可视化操作界面,降低用户学习成本和心智负担,可以根据业务要求灵活调整分析指标和展示效果,能够敏捷响应运营需求。

业务洞察,优化决策

以数字电视用户为中心,开展用户运营数据分析与数据挖掘,支撑各类数据应用,包括基础设施建设优化、网络运营管理优化、客户服务优化及运营决策支持等,并可以有效发现问题、防止用户流失。

私有部署,安全无虞

平台私有化的部署方式以及严格的权限体系,保证数据安全,避免数据泄露。

同时,Pandora 日志大数据平台也具备可升级能力,可以为用户未来的业务扩展提供更多维度的数据支持。

持续增长,未来可「七」

根据《 2018 年中国 IPTV 行业发展现状及发展趋势分析》显示,目前 IPTV 在国内的渗透率约为 24.95%,处于较低水平,未来仍有较大的可发展空间。我国 IPTV 用户数年均复合增长率为 56.29%,呈现较快增长趋势。

在这样的大背景下,可以预见到的是:更多的用户数量势必带来更多的数据量。现阶段选择 Pandora 日志大数据平台进行大数据运营的建设,不仅为当下的发展提供保证,也为未来的增长可能性打下基础。

Pandora 日志大数据平台也会持续演进,不仅在运营商数字电视业务领域持续赋能,更会在「关联复杂分析」、「安全防护监控」、「机器学习预测」等领域持续发力,帮助数字电视行业和更多行业的决策人员利用大数据来洞察风险、开拓业务、高效运营,实现可持续增长和商业成功。

本文转载自公众号七牛云(ID:qiniutek)。

原文链接:

https://mp.weixin.qq.com/s/Em97-9GVFYhj5gXJOg7j5Q

评论

发布