AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

Hadoop 之 HDFS 简介

  • 2019-11-14
  • 本文字数:2925 字

    阅读完需:约 10 分钟

Hadoop之HDFS简介

HDFS 作为运行在通用硬件上的分布式文件系统,和现有的分布式文件系统既有很多的共同点,也存在很多的差异。本文从 HDFS 是什么开始介绍,包括了 HDFS 架构、HDFS 的读写、各个组件的作用、具体操作以及优缺点。给出了 HDFS 在分布式存储上的具体方案,可以使读者快速、清晰的理解 HDFS 系统。

1 主要内容

1.HDFS 是什么?是干什么用的?


2.HDFS 的架构是怎么样的?


3.HDFS 的怎样进行读写?副本怎样放置?


4.HDFS 各个组件的作用?


5.HDFS 的文件操作命令有哪些?


6.HDFS 的优缺点是什么?

2 引言

有这样一个需求:


由于公司某业务 mysql 服务器过保,为防止数据丢失,需要备份 mysql 数据库,这些库目前已经只读,每个库约 1.5T,大概有 130 个库,共需要 200T 左右的空间,并且希望数据不易丢失,恢复数据速度快。


部分解决方案:


1)单机存储



有如下问题:


1.磁盘损坏或机器 down 机则无法下载;


2.单块磁盘的读写 io 会很高;


3.单块磁盘不能完整存储 3 个完整的库(存储大文件),只能存储 2 个,空间部分浪费;


4.平时如果不用做数据恢复,机器 cpu、内存等利用率低。


2)分布式存储


可选用分布式存储,如 HDFS、CEPH、S3 等等。

3 HDFS 是什么?是干什么用的?

HDFS(Hadoop Distributed File System)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


首先来看看 Hadoop 架构,HDFS 为 Hadoop 其他组件提供存储支持。



直观对比 Linux 文件系统和 HDFS 文件系统(执行 ls 命令)。


Linux:


#ls -l-rw-r--r-- 1 root root          20 Jul 29 14:31 ms-server-download-zzzc_88888.idx-rw-r--r-- 1 root root          8   Jul 29 14:31 ms-server-download-zzzc_88888.dat
复制代码


HDFS:


#hadoop fs -ls /tmp/-rw-r--r--   2 xitong supergroup   181335139 2019-07-17 23:00 /tmp/java.tar.gz-rw-r--r--   2 xitong supergroup   181335139 2019-07-17 23:00 /tmp/jdk.tar.gz
复制代码


可以看出 HDFS 和 Linux 文件系统很类似,都是有权限、文件所属用户、用户所在的组、文件名称等,但是也有不同:HDFS 中的第 2 列表示副本数。

4 HDFS 的架构是怎么样的?

HDFS 架构如下:



1.Client:客户端。


2.NameNode:master,它是一个主管、管理者,存储元数据,存储元数据格式会在后面介绍。


3.DataNode:slave,NameNode 下达命令,DataNode 执行操作并存储实际数据。


4.SecondaryNameNode:和 NameNode 不是主备关系。当 NameNode 挂掉的时候,它并不能马上替换 NameNode 提供服务。主要作用会在后面介绍。

5 HDFS 怎样进行读写

写文件


1.客户端调用 create 方法,创建一个新的文件;NameNode 会做各种校验,比如文件是否已经存在,客户端是否有权限等。


2.如果校验通过,客户端开始写数据到 DN(DataNode),文件会按照 block 大小进行切块,默认 128M(可配置),DataNode 构成 pipeline 管道,client 端向输出流对象中写数据,传输的时候是以比 block 更小的 packet 为单位进行传输,packet 又可拆分为多个 chunk,每个 chunk 都携带校验信息。


3.每个 DataNode 写完一个块后,才会返回确认信息,并不是每个 packet 写成功就返回一次确认。


4.写完数据,关闭文件。

读文件


1.客户端调用 open 方法,打开一个文件。


2.获取 block 的 location,即 block 所在的 DN,NN(NameNode)会根据拓扑结构返回距离客户端最近的 DN。


3.客户端直接访问 DN 读取 block 数据并计算校验和,整个数据流不经过 NN。


4.读取完一个 block 会读取下一个 block。


5.所有 block 读取完成,关闭文件。

副本放置


以经典的 3 副本为例(黄色方框表示客户端,绿色表示要写的 block),Hadoop 早期版本采用左边的放置策略,后期版本采用右边的放置策略放置副本。


图左:


  • 副本 1:同机架的不同节点。

  • 副本 2:同机架的另一个节点。

  • 副本 3:不同机架的另一个节点。

  • 如果还有其他副本:随机。


图右:


  • 副本 1:同 Client 的节点。

  • 副本 2:不同机架的节点。

  • 副本 3:同第 2 副本相同机架的不同节点。

  • 如果还有其他副本:随机。


两种策略的故障域都为机架,新版相对于旧版本,当本客户端再次读取新写的数据时,直接从本地读取,这样延迟最小,读取速度最快。

6 HDFS 各个组件的作用?

先大致看下启动流程:



1.启动 NameNode,读取 FsImage 元数据镜像文件,加载到内存中;读取 EditLog 日志文件,加载到内存中,使当前内存中元数据信息与上次关闭系统时保持一致。


2.启动 DataNode,向 NameNode 注册,并向 NameNode 发送 BlockReport。


3.退出安全模式后,Client 可以对 HDFS 进行目录创建、文件上传等操作,改动的目录结构会记录在 EditLog 中,NameNode 的内存中的目录结构也会改变。

NameNode

1.管理 HDFS 的命名空间。


2.管理数据块(Block)映射信息。


3.配置副本策略。


4.处理客户端读写请求。


Fsimage 是一个二进制文件,格式如下:



FsImage 文件第 1 行为 image head,里面包含 image 的版本、文件和目录的个数等;第 2 行为一个目录格式(如果是目录,就是这种格式),包含了目录的路径、副本数、权限等,目录的 blocksize 都为 0;第 3 行为一个文件格式(如果是文件,则在 FsImage 存储的格式),文件和目录格式包含的字段差不多,多了 block 信息;通过加载此文件和 EditLog 日志文件来构建整个文件系统的目录结构。


通过观察 FsImage 文件,里面并没有 block 和 DN 的对应关系,它是如何查到块所对应的 DN 的呢?


block 和 DN 的对应关系并没有实际持久化,而是通过 DN 向 NN(NameNode)汇报,此过程为 BlockReport。通过 blockReport 构建 BlocksMap 的结构如下:



在 blockInfo 中保存了 block 所在的 DN 信息。

SecondaryNameNode

和 NameNode 并非主备关系,而是辅助 NN 进行合并 FsImage 和 EditLog 并起到备份作用。


7 HDFS 文件操作命令有哪些?

和 Linux 操作文件类似,只列出常见几个,和 Linux 命令的功能也是类似的,如:cp 即拷贝,rm 即删除等等。


#hadoop fs [cat|chgrp|chmod|chown|count|cp|df|get|ls|put|mv|rm|mkdir|tail]
复制代码


在 HDFS 中,提供了 fsck 命令,用于检查 HDFS 上文件和目录的健康状态、获取文件的 block 块信息和位置信息等。


#hdfs fsck [move|delete|files|blocks|locations|racks|blockId]
复制代码

8 HDFS 的优缺点是什么?

最后根据以上内容总结 HDFS 优缺点如下:


优点:


  • 支持海量数据的存储。

  • 检测和快速应对硬件故障。

  • 流式数据访问。

  • 简化的一致性模型。

  • 高容错性。

  • 商用硬件。


缺点:


  • 不能做到低延迟数据访问。

  • 不适合大量的小文件存储。

  • 不支持修改文件(HDFS2.x 开始支持给文件追加内容)。

  • 不支持用户的并行写。


hadoop2.x 新特性 引入了 NameNode Federation,解决了横向内存扩展;引入了 Namenode HA,解决了 namenode 单点故障。


本文转载自公众号 360 云计算(ID:hulktalk)。


原文链接:


https://mp.weixin.qq.com/s/s-kOquVbIuJAMSQqkfmaAA


2019-11-14 17:284909

评论

发布
暂无评论
发现更多内容

mysql基础

楠羽

#开源

面试突击79:Bean 作用域是啥?它有几种类型?

王磊

Java 常见面试题

直播预告丨阿里云佐井:关注预警6要素,帮助用户实现精准监控和告警

阿里云弹性计算

监控 预警

【数据结构实践】手把手带你快速实现自定义二叉树

迷彩

数据结构 算法 二叉树 二叉树遍历 8月月更

zookeeper的特点和应用场景

浅羽技术

zookeeper 分布式 观察者模式 注册中心 8月月更

【CSS】什么是外边距的重叠?常见的有哪几种重叠情况?

翼同学

CSS 前端 编程语言 8月月更

如何通过经纬度坐标获取附近的地址信息?

HarmonyOS SDK

定位

《数字经济全景白皮书》银行业RPA应用专题分析 发布

易观分析

RPA 金融 银行

【CSS 盒子模型(下)】:padding 和 margin

翼同学

CSS html 前端 8月月更

MySQL查询重写插件

TimeFriends

8月月更

Docker杀掉了容器?问题分析与解决过程全面复盘

程序员欣宸

Docker 8月月更

【CSS关键字】:inherit、initial、unset分别有哪些作用?

翼同学

CSS html 前端 8月月更 学习分享

持久,redis 持久化有哪几种方式,怎么选?

知识浅谈

redis持久化 8月月更

Rancher 2.6 全新 Logging 快速入门(2)

Rancher

Kubernetes k8s rancher

非关系型数据库Redis核心内容

浅羽技术

数据库 redis redis持久化 Memcache 8月月更

[JS入门到进阶] 手写解析uin8数组的工具:解析二进制字节,太快太方便了!

HullQin

CSS JavaScript html 前端 8月月更

亚马逊云科技与TalkingData携手助力美妆巨头数字化营销闭环安全合规地提效

Lily

【CSS 盒子模型(上)】:width、height、overflow、border

翼同学

CSS html 前端 8月月更

数字藏品app开发:数字藏品发行制作的关键

开源直播系统源码

NFT 数字藏品 数字藏品开发 数字藏品系统 数字藏品软件

【CSS·圆角边框】有关border-radius属性的记录以及实现原理

翼同学

CSS html 前端 8月月更

源码解析 kubectl port-forward 工作原理

张晓辉

Kubernetes 云原生 源码解析

浅谈JS发布订阅模式

海底烧烤店ai

JavaScript 前端 发布订阅模式 8月月更

Selenium 中的 JUnit 注解

FunTester

弹性云端新算力,驱动沉浸新交互 |2022阿里云金融创新峰会

阿里云弹性计算

计算巢 云盒 倚天实例 专属Region

【React】使用Next.js构建并部署个人博客

海底烧烤店ai

nuxt 博客开发 博客搭建 react rout 8月月更

佛山复星禅诚医院黄汉森:云边协同,打造线上线下一体化智慧医疗

阿里云弹性计算

弹性计算 分布式云 云盒 异地双活

混迹职场10多年的数据开发老鸟,居然被一个职场新人上了一课

雨果

数据工程师

zookeeper的选主过程

浅羽技术

zookeeper 分布式 ZooKeeper原理 8月月更

超大规模跨域集群统一监控实践

移动云大数据

记录一次数据库CPU被打满的排查过程

京东科技开发者

数据库 cpu cpu飙满 调优 慢SQL

【CSS】怎么理解层叠性、继承性和优先性?选择器的权重如何叠加?

翼同学

CSS html 前端 编程语言 8月月更

Hadoop之HDFS简介_文化 & 方法_于桐_InfoQ精选文章