火山引擎如何助力抖音打造过亿级DAU的产品?点击报名 了解详情
写点什么

hdfs

收录了架构频道下的 50 篇内容

一篇文章彻底理解 HDFS 的安全模式

一篇文章彻底理解 HDFS 的安全模式

hadoop
hdfs
vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

文章介绍如何将CDH 5.14.4 HDFS 2.6.0 滚动升级到HDP-3.1.4.0-315 HDFS 3.1.1版本,是业界为数不多的从CDH...

大数据
hadoop
hdfs
完全解析分布式存储,带你了解 HDFS 的块

​​ 在大数据的学习过程中,我们经常会听到“分布式”这三个字,那个所谓的“分布式”到底是什么意思?...

hdfs
分布式
10 分钟为你全面解答 HDFS 的 SecondaryNamenode 的作用

HDFS相关的守护进程中,有NameNode进程、DataNode进程、SecondaryNameNode进程等。NameNode和DataNode...

大数据
hdfs
分布式 hdfs-over-ftp 工具实现方案

本文基于开源 hdfs-over-ftp 组件存在的数据传输效率低、负载不均衡等问题,实现分布式的 hdfs-over-ftp ...

最全 Hadoop HDFS 解析(一)

究竟使用哪一种,需要看我们具体的实现类,在我们实际工作中,用到的最多的就是HDFS(分布式文件系统)以

11月日更
集群规模不断膨胀,HDFS架构如何演进?|InfoQ公开课
集群规模不断膨胀,HDFS 架构如何演进?|InfoQ 公开课

本次分享将从网易内部 HDFS 的实践出发,介绍如何透明地实现 Router-based Federation(简称 RBF)架构的...

CDH/CDP 中开启 kerberos 后如何访问 HDFS/YARN/HIVESERVER2 等服务的 webui

在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢?...

hadoop
hive
kerberos
EB 级 HDFS 集群磁带存储资源池的建设实践
EB 级 HDFS 集群磁带存储资源池的建设实践

本文主要介绍HDFS 磁带存储资源池建设的实践,拓展 HDFS 异构存储到磁带存储介质,强化了 HDFS 低成本海量...

Ranger 对 HDFS 权限管理探索与实践

它可以对Hadoop生态的组件如HDFS、Yarn、Hive、HBase、Kafka、Storm、Presto、Kylin等进行细粒度的数据访问...

hdfs
Ranger
HDFS 文件限额配置

在多人共用HDFS的环境下,配置设置非常重要。特别是在Hadoop处理大量资料的环境,如果没有配额管理,很容易...

hadoop
紧急扩散!HDFS3.X 系列的 EC 纠删码策略有个安全隐患 HDFS-16420,极端情况下会造成数据丢失!

HDFS3.X 的 EC 纠删码功能,近期被发现有个 BUG:该 BUG 会导致,以纠删码机制存放的目录和文件,在某些...

hdfs
云小课 | MRS 基础入门之 HDFS 组件介绍

​​摘要:HDFS是MapReduce服务中的基础文件系统,全称为Hadoop的分布式文件系统(Hadoop Distributed File...

hadoop
hdfs
分布式文件系统
MapReduce服务
数据读写
HDFS Block 状态转移详解

我们知道 NameNode 是 HDFS的大脑,NameNode 维护的是目录树、Block块信息以及它们的对应关系。本文结合...

HDFS杂谈:Xattrs扩展属性
HDFS 杂谈:Xattrs 扩展属性

HDFS xattrs来源于linux xattrs,属于HDFS对象自定义的元数据信息

hadoop
hdfs
28天写作
HADOOP 学习笔记之 HDFS

Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统;

hadoop
hdfs
真的了解 HDFS 的 SecondaryNameNode 是干什么的?
真的了解 HDFS 的 SecondaryNameNode 是干什么的?

HDFS SecondaryNameNode是干什么的?

20个大数据必知领域之「HDFS」
20 个大数据必知领域之「HDFS」

System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。

都 2022 年了,HDFS 为何还如此能战

HDFS也许不是最好的大数据存储技术,但依然是最重要的大数据存储技术。

大数据
hadoop
hdfs
分布式文件系统
大数据存储
HDFS SHELL详解(1)
HDFS SHELL 详解 (1)

HDFS SHELL总共有39条指令,本系列将逐步介绍每个指令的功能、选项含义及示例。

hadoop
28天写作
hdfs shell
hdfs专题_资料-InfoQ中文网