GMTC北京站9折购票最后一周,2022年大前端方向又有哪些技术热点? 了解详情
写点什么

爱奇艺如何处理千亿级数据

  • 2020 年 11 月 02 日
  • 本文字数:3757 字

    阅读完需:约 12 分钟

爱奇艺如何处理千亿级数据

1. 使用 Kylin 的缘由

爱奇艺 OLAP 服务演变

爱奇艺大数据 OLAP 服务演变的过程可以用如下架构图说明:



数据处理流程分为如下 几个层级


  • 最下方是采集平台,收集业务的埋点和日志;

  • 数据按时效性分为两种类型:离线类型的灌入到 HDFS,实时数据灌入到 Kafka;

  • 往上是各种分析引擎,Hive 用于 PB 级别的离线分析,Kylin 用于每日报表,针对相对固定的维度进行分析,Impala 用户 Ad-hoc 场景,Kudu 支持实时更新和分析,Druid 针对的是实时事件流;

  • 在这些引擎之上是统一的 SQL 引擎 – Pilot,负责引擎和数据源的智能路由,基于此构建了 BI 分析平台,工作流平台,自定义 SQL 查询平台,实时分析平台等。


爱奇艺发展的大体时间线,2015 年前以离线分析为主,技术上是经典的 Hive + MySQL 方案,但缺点是报表查询比较慢,而且数据时效性差;2016 - 2018 年致力于将查询耗时提升至交互式级别,分为两大类:Kylin 针对固定报表,在维度比较有限的情况下,通过一个预处理,TB 级别数据延时能在秒级,而 Impala 则针对 Ad-hoc 类场景,可以查询任意明细数据;2018 年以后从离线往实时去发力,其中 Kudu 支持实时插入和更新,Druid 支持事件流场景。


Kylin 典型需求

数据分析中一个典型场景是 用户行为分析,譬如用户在 APP 上进行一次点击,采集之后进行分析。下面为一个示例 SQL,分析首页过去一天的展示次数。


SELECT COUNT(1) as cntFROM hive_table_user_actWHERE act_type = 'display’AND page = 'home'AND dt = '2020-07-18';
复制代码


此类查询传统是用 Hive 表去做分析,具有如下几个特点:


  • 维度固定:分析的模式每日变化不大;

  • 时效不高:分析昨日(T+1)的使用情况;

  • 交互延时:查询延时要求比较高,通常在秒级;

  • 数据量大:每日规模百亿行的量级。


经典的技术架构如下图所示:



即撰写预计算的 SQL,通过 Spark 或 Hive 查询,将结果集存入到 MySQL,用户报表查询直接 MySQL 里面去读取。这个方案有 以下几个缺点


  • 预处理慢

  • Hive/Spark 任务随着预计算 SQL 数量的增加(因维度增加),耗时会随之增加,甚至超过一天;

  • 扩展性差

  • 当预计算结果集大到 MySQL 单机无法存下时,Cube 自身也面临扩展性问题;

  • 变更困难

  • 每当分析师有新的需求,均需工程师修改预处理 SQL,排期进行开发,迭代慢且开发量大;

  • 资源浪费

  • 手动书写的预计算 SQL 会有较多的重复计算,通常优化的不是特别好,在资源上也是有很大的浪费。


2. Kylin 在爱奇艺的现状

Kylin 简介

为了克服 Hive + MySQL 方案的上述缺点,爱奇艺引入了 Kylin 来进行固定报表分析。Kylin 是一款基于 Hadoop 产品针对固定报表的 SQL 分析引擎,核心思想是预计算,即提前将报表分析结果(Cube)算好存入到 HBase,报表查询直接从 Cube 里读取,查询速度非常快。


以前文用户行为分析为例,爱奇艺改用 Kylin 后取得了如下效果:


  • 预处理快

  • 处理时间缩短至 1/10,从一天跑不完到 2.5 小时跑完;

  • 扩展性好

  • 一个输入量级在百亿每天的表,构建 9 维 Cube 都比较轻松;

  • 易于调整

  • Kylin 在页面拖拽即可调整分析的维度和度量,无需开发;

  • 节约成本

  • 实测下来节省了 50% 的计算资源。


下图为当时选型的测试结果:



除了 Kylin,当时也调研了 Impala。Impala 相比 Hive 优势明显,查询延时从十几分钟缩短到 1 分钟以内,但毕竟要从原始数据开始查询,带宽等物理限制决定了查询速度的上限,相比于 Kylin 预构建的模式来说速度还是有明显差距。针对报表类交互式查询,Kylin 是更为合适的


Kylin 在爱奇艺落地

现在,Kylin 在爱奇艺被广泛使用,已经在 20 多个业务落地,包括 BI、搜索、推荐。总计有 268 个 Cube,每天输入数据在 4 千亿行,每天构造出来的 Cube 有 3TB,Cube 总量在 800TB;查询估计一天有上万个,分析下来查询耗时 P95 < 10 秒,能够较好地满足需求。


3. Kylin 在爱奇艺的优化

业务架构影响

采用 Kylin 对业务架构也起到了积极的作用,最直接的就是 业务的使用成本降低了。以推荐为例,分析各个模型的推荐效果,会采用如下图所示架构:



用户点击行为被存放于 Hive Pingback 表,而视频特征被存放于 Hive 维度表,如果要分析 3 个维度,每个维度 3 个度量,则需要对每种维度和度量的组合,撰写一个 SQL 去处理,总计 9 个预处理 SQL,Pingback 表和度量表被 JOIN 了 9 次,并且数量随着分析的增加还会继续膨胀。


Kylin 会将事实表和维度表处理成大宽表,后续的计算复用大宽表,从而 JOIN 的数量从 9 降低至 1,计算耗时、成本均大幅降低。此外 Kylin 还大幅降低需求变更的难度,原先增加一个维度/度量,需要改多个脚本,几天的开发量;现在只需在页面上调整,做一下测试,然后重新构建一下即可,小时内即可完成。除此之外,Kylin 还提供精确去重的功能,原先业务是自己在脚本里实现,依赖于脚本书写的好坏,Kylin 提供了一个标准、精确的实现,对业务去重的精度也有提升。


独立 HBase 集群

爱奇艺 Kylin Cube 的量级比较大,早期,我们按照社区的标准部署模式,也就是复用现有公共集群的 HBase,面临了种种挑战。



混布模式下,每一个 Hadoop 集群都有 HBase 服务,Kylin 把预处理的结果加载到本集群 HBase。这个模式有两个痛点:


  • 稳定性差

  • HBase 集群上还有其他业务,若其他业务读写压力较大,Kylin 查询会受影响;反过来 Kylin 大量查询时,也会对其他业务产生影响。当有很多个 HBase 集群时,任意 HBase 不稳定都有部分 Kylin 业务受影响;

  • 资源浪费

  • 并非所有部署了 Hive 服务的集群都有 HBase,想在该集群使用 Kylin 还需在集群上部署 HBase 服务。


我们参考社区的建议,采用了独立 HBase 集群的部署模式。即 Kylin 还是从 Hive 集群读取数据,构建 Cube,最终结果跨集群加载到 Kylin 专用 HBase 集群。这个方案需要配置一下跨集群作业,参照社区的案例也不复杂;除了解决以上两个痛点,还有一个额外的好处,就是 该方案能对独立 HBase 做针对性优化。因为 Kylin 专用 HBase 集群没有写入,而是通过 Bulkload 加载,故可针对读进行优化。如把内存绝大部分用于读缓存、读写线程池也偏向于读、采用固定分裂策略,Cube 表不存在分裂或合并。


采用独立 HBase 部署模式后效果明显。稳定性上,查询不可用时间相比于混布 HBase 降低至 25%。查询速度上,平均下来有 30% 的提升。


Kylin 服务平台

Kylin 服务平台定位是统一收集、存储各集群的信息,包括元信息、任务、查询,用于诊断和优化。


Kylin 自身也具备一定 排障能力,比如通过 Web UI 查看 Cube 大小、失败任务等,但其信息是割裂的,部署几十个实例后,不可能每天打开几十个 Web 逐一分析。故此我们决定开发 Kylin 服务平台,其架构如下图所示:



基本思想是把需要的信息采集起来,统一存储,提供 API 和统一的 Web 界面,并开发智能诊断的逻辑,包括 Cube 膨胀率过大、Job 失败过多、查询变慢等等。


Cube 生命周期管理

用户平台的一个落地场景是 Cube 生命周期管理。如果不做管理,Kylin 对 HBase 的压力是很大的,包括表数量、Region 数量、超大 Cube,轻易即可压垮 HBase 集群。原先都是集群异常后,我们再手动分析 Region 来源,推动业务优化。现在通过用户平台的诊断,很容易分析出常见的不合理场景:Cube 未配置 TTL、未配置 Merge 策略、膨胀率过高、Cube 过大等等。平台也可基于历史的查询分析,判断出多久的数据不被访问,自动给出 TTL 的建议值。下图为诊断的效果图:



任务智能诊断

用户平台另一个落地是任务智能诊断。之前,业务构建任务失败后通过 Kylin Web 能看到如下图所示的失败信息,但分析师很难理解错误的含义,只能提交一个运维工单,由 Kylin 运维人员进行修复。这个过程对双方都很痛苦:分析师的错误响应很慢,而运维人员则需要处理大量的工单。



为此,我们开发了任务智能诊断模块。我们 总结了 18 种常见的错误,每一种错误都给出易于理解的原因,修复意见,并附有手册详细描述。平台会采集任务的失败信息,和常见的错误进行匹配,下图是一个错误在平台上看到的效果。用户能基于诊断结果进行自助排障



参数优化

1. Hive 构建全局字典


在 Kylin 3.0 中引入,之前版本中构建全局字典是通过一个单线程完成,往往会成为 Cube 构建的瓶颈。下图是优化后的效果,可以看到构建时间缩短至之前 1/3。



2. 高基数维度构建字典并发配置


即 Kylin 可以指定一个列是高基数维度,并指定其构建字典的并发度(kylin.engine.mr.uhc-reducer-count=5)。例如 Hive 表有 9 个维度列,其中 8 个基数小,1 个基数大,则构建字典任务的 9 个 Reducer 会有一个特别慢。使用上述配置高基数维度会以 5 并发构建,有效地缩短了时间。


4. 未来展望

后续,我们计划朝以下几个方面发展:


1. 自动构建 Cube


当前落地的业务场景都是强需求,Cube 构建是业务主动来做。后续希望能够分析现有的 Hive 查询,自动发现内聚度高的表,构建 Cube 并代替掉原有的查询;


2. 集群化


当前每个业务一个实例,稍微有一些大查询就会引起性能波动。若给每个业务部署多个实例,则平时利用率又非常低。通过集群化部署的模式,每个用户都能用到全部的实例,稳定性会大幅提升;


3. 平台化


平台化也会继续深入,降低业务构建 Cube 的代价。通过平台来托管,业务无需自行管理 Cube 的构建。


作者介绍


林豪,爱奇艺资深研发工程师,任大数据服务 OLAP 组负责人,自 2016 年起推进公司内 OLAP 技术架构升级。


本文转载自公众号 apachekylin(ID:ApacheKylin)。


原文链接


爱奇艺如何处理千亿级数据


2020 年 11 月 02 日 14:091894

评论

发布
暂无评论
发现更多内容

有人说SQL注入已经落后了,请问可以捶他吗???

网络安全学海

运维 网络安全 信息安全 渗透测试 SQL注入

如何加速应用网格化部署?看这款社交产品怎么做

阿里巴巴中间件

Ansible Role

耳东@Erdong

ansible 7月日更 ansible role

代理

卢卡多多

代理 代理原理 7月日更

用太极拳讲分布式理论,真舒服!

悟空聊架构

分布式 事务 CAS Base 7月日更

linux服务器开发人员必须要彻底理解的关于【Linux】IO的线程模型

Linux服务器开发

reactor 网络编程 epoll Linux服务器开发 IO模型

让AI抛弃“小作坊”,拥抱“工业化”:盘古大模型究竟是什么?

脑极体

百分点大数据技术团队:ClickHouse国家级项目性能优化实践

百分点大数据团队

推荐系统的人工调控策略(三十五)

数据与智能

人工智能 商业价值 推荐系统

观天安门升旗纪要

穿过生命散发芬芳

摄影 游记 升旗

这份面试笔记到底有什么魔力?可以使我斩获了8家大厂offer(Java岗)

Java架构师迁哥

给AI时代装配“新大脑”:数据密集型超算带来了哪些变革?

脑极体

Reactive Spring实战 -- 响应式MySql交互

binecy

MySQL 响应式编程 Reactive Spring

区块链与AI、大数据等技术融合,将带来哪些产业变革?

CECBC

欧洲杯上链,区块链语境下的数字化有什么不一样?

CECBC

免费分享Spring Boot开发的优秀图书

Java入门到架构

Java springboot

初探 Redis 客户端 Lettuce:真香

白亦杨

Java redis

共1575道,内卷把我逼成“收集王”汇总十家大厂面试题后,产出Java“完美圣经”

Java架构师迁哥

为什么要学习网络协议?

学无止境的阿奔

c++ Linux TCP/IP 网络通信协议 网络协议栈

5G+工业互联网 智造驱动新发展

唯一网络

自建开发工具系列-Webkit内存动量监控UI(四)

Tim

UI JSX

filecoin靠谱吗?filecoin合不合法?

Filecoin ipfs挖矿 fil挖矿

Redisson 分布式锁源码 09:RedLock 红锁的故事

程序员小航

Java 源码 分布式锁 redisson 红锁

软件开发的22条黄金法则

Zhendong

程序员 开发

Hologres揭秘:高性能原生加速MaxCompute核心原理

阿里云大数据AI技术

什么是统一语言?

escray

学习 极客时间 6月日更 7月日更 如何落地业务建模

在数字经济领域实现更充分更高质量就业的思考

CECBC

5分钟速读之Rust权威指南(四十)高级trait

码生笔谈

rust

想学好编程,别背代码!

程序员鱼皮

Java Python 学习 大前端 计算机基础

SPAC:海外造壳上市

石云升

上市 7月日更

从0到1:用脚做一个路由器漏洞实例

网络安全学海

运维 网络安全 信息安全 渗透测试· SQL注入

WAVE SUMMIT 2022 深度学习开发者峰会

WAVE SUMMIT 2022 深度学习开发者峰会

爱奇艺如何处理千亿级数据_大数据_apachekylin_InfoQ精选文章