写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001042

评论

发布
暂无评论
发现更多内容

2021最新发布百度云面经总结:Java并发+Redis+数据库+分布式

比伯

Java 程序员 架构 面试 计算机

正点原子DS100拆解全过程-硬件工程师必备

良知犹存

嵌入式

盘点:2021年最新、最全、最实用的Java岗面试真题,已收录GitHub

Java 架构 面试

探寻内部类的奥秘(上)

后台技术汇

2月春节不断更

用 JSX 实现 Carousel 轮播组件

三钻

大前端 组件化 JSX

产品经理训练营第二章作业2

阿波

Kubernetes 原生 CI/CD 构建框架 Argo 详解!

字节跳动 Kubernetes 云原生 CI/CD argo

2021年前端趋势预测

阿里巴巴 开源 大前端 Web框架 逻辑编排

【得物技术】AB实验设计实现与分流算法

得物技术

算法 AB AB testing实战 实现 得物技术

因果迷境:为什么我们会问“为什么”?

脑极体

威联通(NAS)应用篇:自建OwnCloud网盘(百度网盘,拜拜~~~)

BigYoung

NAS 威联通 28天写作 2月春节不断更

Webpack | 提升构建速度和体积优化的N种方式

梁龙先森

大前端 webpack 2月春节不断更

什么是防火墙?

通过配置开关 Spring Boot 中的 @Scheduled 定时任务

和白白

Java 定时任务 springboot

F2C能否让前端像运营配置一样开发?

阿里巴巴 开源 大前端 Web框架 逻辑编排

【LeetCode】尽可能使字符串相等

Albert

算法 LeetCode 2月春节不断更

从躬身入局到共生入境的做产品

boshi

产品经理 产品设计 七日更

MyBatis专栏 - 进阶(引入外部配置文件, 类型参数设置)

小马哥

Java mybatis 七日更 2月春节不断更

架构师week11总结

Geek_xq

SDS离全面EC(纠删码)还有多远?

XSKY星辰天合

存储

Spring Boot 微服务性能下降九成!使用 Arthas 定位根因

Java架构师迁哥

阿里新晋 CNCF TOC 委员张磊:“云原生”为什么对云计算生态充满吸引力?

阿里巴巴云原生

云计算 容器 微服务 云原生 cncf

登上 Github 趋势榜,iMove 原理技术大揭秘!

阿里巴巴 开源 大前端 Web框架 逻辑编排

iMove 基于 X6 + form-render 背后的思考

阿里巴巴 开源 大前端 Web框架 逻辑编排

团队中的三种成员

熊斌

学习 管理 2月春节不断更

OpenCV--基本的线条操作

IT蜗壳-Tango

七日更 2月春节不断更

所见即所得! iMove 在线执行代码探索

阿里巴巴 开源 大前端 Web框架 逻辑编排

容器&服务:开篇,压力与资源

程序员架构进阶

容器 服务 七日更 28天写作 2月春节不断更

日记 2021年2月5日(周五)

Changing Lin

个人感悟 2月春节不断更

Go Modules v2 及后续版本

Rayjun

Go 语言

Linux Lab 进阶: Uboot 引导程序

贾献华

Linux bootloader Linux Kenel boot

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章