限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001113

评论

发布
暂无评论
发现更多内容

Python进阶(三十四)Python3多线程解读

No Silver Bullet

多线程 Python3 11月月更

前端高频面试题合集(中高级必备)

loveX001

JavaScript

GitLab 服务的数据备份与恢复

忙着长大#

gitlab

极客时间运维进阶训练营第三周作业

chenmin

词向量word2vec(图学习参考资料1)

汀丶人工智能

图神经网络 图学习 11月月更

极客时间运维进阶训练营第三周作业

独钓寒江

极客时间运维进阶训练营第三周作业

Starry

Vue内置组件之Transition(一)

Augus

vue.js 11月月更

经常会采坑的javascript原型应试题

loveX001

JavaScript

谈谈前端性能优化-面试版

loveX001

JavaScript

Map接口概述和基本使用

共饮一杯无

Java map 11月月更

问:React的useState和setState到底是同步还是异步呢?

beifeng1996

React

《数字经济全景白皮书》中国商业银行普惠金融可持续发展能力评价2022

易观分析

普惠金融 数字技术应用

服务至上的时代,生态才是ToB软件厂商发展加速的油门

ToB行业头条

Ubuntu部署和体验Nexus3

程序员欣宸

Docker 11月月更 nexus3

高频react面试题自检

beifeng1996

React

Spring 5(三)AOP

浅辄

Java Spring5 11月月更

Flowable 定时器的各种玩法

江南一点雨

Java spring springboot flowable JavaEE

Python进阶(三十五)Fiddler命令行和HTTP断点调试

No Silver Bullet

Python fiddler 11月月更

React源码分析(一)Fiber

goClient1992

React

Git学习笔记

lxmoe

git 学习笔记 常用命令 11月月更

Python进阶(三十六)Web框架Django项目搭建全过程

No Silver Bullet

Python django 11月月更

20道前端高频面试题(附答案)

loveX001

JavaScript

HTML知识框架 二

默默的成长

html 前端 11月月更

CSS知识框架(一)

默默的成长

CSS 前端 11月月更

问:你是如何进行react状态管理方案选择的?

beifeng1996

React

看透react源码之感受react的进化

goClient1992

React

一天梳理完react面试题

beifeng1996

React

Map接口的子类HashMap和LinkedHashMap

共饮一杯无

Java 11月月更 Map集合

React-Hooks源码深度解读

goClient1992

React

图学习初探Paddle Graph Learning 构建属于自己的图【系列三】

汀丶人工智能

图神经网络 11月月更 随机游走算法 异质图

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章