写点什么

去哪儿 Hadoop 集群 Federation 数据拷贝优化

  • 2019-05-26
  • 本文字数:1943 字

    阅读完需:约 6 分钟

去哪儿Hadoop集群Federation数据拷贝优化

背景

去哪儿 Hadoop 集群随着去哪儿网的发展一直在优化改进,基本保证了业务数据存储量和计算量爆发式增长下的存储服务质量。然而,随着集群规模的发展,单组 NameNode 组成的集群也到达了新的瓶颈:因为 NameNode 内存使用和元数据量正相关,在 180GB 堆内存配置下,元数据量红线约为 7 亿,而随着集群规模和业务的发展,即使经过小文件合并与数据压缩,仍然无法阻止元数据量逐渐接近红线。而且在性能方面,随着业务的发展,集群规模的扩大,NameNode RPC 响应时间增大,QPS 逐渐降低。


HDFS Federation 是 Hadoop-0.23.0 中为解决 HDFS 单点限制而提出的 NameNode 水平扩展方案。该方案可以为 HDFS 服务创建多个 NameSpace ,从而提高集群的扩展性和隔离性,分散单个 NameNode 的负载。(在 HDFS 中 NameSpace 是指 NameNode 中负责管理文件系统中的树状目录结构以及文件与数据块的映射关系的一层逻辑结构,在 Federation 方案中,NameNode 之间相互隔离,因此社区也用一个 NameSpace 来指代 Federation 中一组独立的 NameNode 及其元数据。)


在 Federation 过程中,非常重要的一个环节就是数据的拷贝。


原来所有的数据都是从源主节点 NameNode1 下访问,例如 /user/flight,/user/hotel 等。 如果 Federation 后,/user/flight 从 NameNode1 访问,/user/hotel 从 NameNode2 访问,这样就需要将 /user/hotel 目录下所有的数据和元数据拷贝到 NameNode2 的集群中。

fastcopy 简介

如果集群数据比较少,可以直接 distcp 完成。


现在去哪儿网的数据,单个 DataNode 的使用占比中位数已经超过 80%,即,要拷贝出 70% 的数据的话,不考虑时间,磁盘空间也满足不了要求。 如果拆成多次操作,周期和运维成本会高出很多。


所以选择了社区中的 fastcopy 方案, https://issues.apache.org/jira/browse/HDFS-2139 ,FastCopy 是 Facebook 开源的数据拷贝方案。主要逻辑就是,从源 NameNode 读文件信息和 block 对应关系,然后在目标 NameNode 上创建文件,添加 block ,拷贝 block 。 其中拷贝 block 的方式(最终数据块的拷贝)是使用 linux 的硬链拷贝来完成,这样就不会增加存储成本了。


fastcopy 的优点,速度快,不占存储空间。也有缺点,是没有进行文件权限和属主的拷贝,还需要再次修改,这个权属从源 NameNode 也需要读所有的文件,然后写到目标 NameNode 去,这个时间基本是拷贝时间的 1/3 到 1/2 。

fastcopy 与 distcp 测试对比

为了更直观的了解 fastcopy 的性能,我们先测试了 fastcopy 和 distcp 的比较。


测试集群环境: 2 个 NameSpace,50 个 DataNode。

测试结果

元数据量从 100 万到 1 亿,fastcopy 花费时间从 0.68 分钟到 90 分钟,distcp 从 5m 到 830m。


元数据总量与拷贝时间折线图:


测试分析结论

根据测试结果,生产集群拷贝 5 亿元数据:


distcp 需要花费为 4 天。如果开用 distcp ,公司集群停用 4 天,业务报表统计、业务模型训练等都不可用,这是不可接受的,此方案不通。


fastcopy 需要花费 90*5/60*1.8=13.5 个小时,1.8 为一个系数,表示元数据增大到 7 亿后响应时间增大的程度。fastcopy 拷贝后,还需要对原文件的权限属主进行设置,也需要 6 个小时左右,最终 fastcopy 需要 20 个小时左右,对公司的报表等影响很大。


测试过程中,我们发现 fastcopy 的瓶颈是 active 主节点的并发度。在阅读 fastcopy 源码的过程中,我们发现 fastcopy 对同一个元数据有多次请求。我们准备从这点开始对源码优化。

fastcopy 优化

fastcopy 适用范围较宽,在 Federation 集群中任何一个时间节点都可以使用。


而我们现在面临的是单 NameNode 拆分多个 NameNode 时大量数据迁移时间过长问题。拆分时刻可以停止集群写服务,提前创建 Snapshot ,保证 fsimage 不变,在此前提下我们进行优化。


优化后的 fastcopy 简称 qfastcopy 。

原 fastcopy 流程以及步骤


原 fastcopy 步骤所需资源与性能分析

优化方案

qfastcopy

qfastcopy 流程:



qfastcopy 具体步骤:


qfastcopy 的缺点

  • 使用场景单一,只能在 Federation 过程中 NameNode 拆分时使用,需要提前 copy fsimage 到目标集群。

  • 目标文件与源文件绝对路径相同。

  • 整个流程中集群不能对外提供写操作。

qfastcopy 测试

fastcopy 和 qfastcopy 对比

元数据量与拷贝时间折线图:


分析与结论

根据测试结果,生产集群拷贝 5 亿元数据,qfastcopy 需要花费 22*5/60*1.8=3.5 小时。


最终,我们将近集群 Federation 的 5 亿元数据拷贝时间从 20 小时优化到了 3.5 小时。

作者简介

王磊,2015 年 8 月加入去哪儿网技术团队。目前在网站运营中心/数据支持,负责 Hadoop 平台运维,离线日志收集,专注于大数据解决方案和平台构建。


王大伟,2012 年加入去哪儿网技术团队。目前在网站运营中心/数据支持。负责 Hadoop、Hive 数据平台的构建、运维,专注于大数据和机器学习。


2019-05-26 08:006391

评论

发布
暂无评论
发现更多内容

英特尔on技术创新大会:加速AI和安全的融合

E科讯

前后端分离的低代码快速开发框架

树上有只程序猿

前后端分离 低代码开发 JNPF

选择住宅ip代理还是数据中心代理?

巨量HTTP

代理IP http代理

狂热过后,RPA到底是什么?

金小K

RPA RPA评测 RPAxAI

使用 Databend 加速 Hive 查询

Databend

杭州悦数加入龙蜥社区,共同探索图数据库的未来

OpenAnolis小助手

数据库 开源 操作系统 龙蜥社区 杭州悦数

信创国产堡垒机怎么样?哪家好?电话多少?

行云管家

云计算 信创 国产化 云堡垒机

新一代私有云的部署原理和步骤

青椒云云电脑

云电脑平台

一文了解SmartSE

DevOps和数字孪生

虚拟ECU SmartSE

云智一体,构建汽车智能驾驶解决方案

Baidu AICLOUD

自动驾驶 工具链 异构计算 数据闭环

PostgreSQL 技术内幕(十)WAL log 模块基本原理

酷克数据HashData

Linux 爱好者线下沙龙:LLUG 2023 深圳硬核来袭 | 第三站

OpenAnolis小助手

沙龙 龙蜥社区 开源操作系统 LLUG Linux中国

如何出色的进行“自我介绍”?

王磊

Java java面试

云服务器哪家最便宜

青椒云云电脑

云服务器

实用!Python大型Excel文件处理:快速导入、导出与批量处理

树上有只程序猿

Python Excel

API网关是如何提升API接口安全管控能力的?

不思jo

安全 API

TiDB 7.1.0 LTS 特性解读丨关于资源管控 (Resource Control) 应该知道的 6 件事

PingCAP

数据库 TiDB

低代码平台:构建应用程序的“银弹”

互联网工科生

软件开发 低代码 企业数字化

IPA文件重签名教程:使用Ipa Guard进行签名和安装到设备的详细步骤

一文详解GPU虚拟化云桌面解决方案

青椒云云电脑

云桌面 云桌面解决方案

新手入门:买完云服务器怎么搭建网站?

青椒云云电脑

云电脑

2023年国产堡垒机就选行云!8大理由看这里!

行云管家

网络安全 堡垒机 国产化 国产

去哪儿Hadoop集群Federation数据拷贝优化_大数据_王大伟_InfoQ精选文章