NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:00812

评论

发布
暂无评论
发现更多内容

《码出高效:Java开发手册》,每一位想要成为优秀开发工程师的程序员必须要看的一本小册!

Java架构之路

Java 程序员 架构 面试 编程语言

架构设计:高并发读取,高并发写入,并发设计规划落地方案思考

互联网应用架构

高并发读,高并发写

《华为数据之道》读书笔记:第1章 数据驱动的企业数字化转型

方志

数据中台 数据湖 数据治理

2021年全球公有云终端用户支出将增长18% ;EMNLP 2020最佳论文:无声语音的数字发声

京东科技开发者

程序人生

训练营第五周作业

爱码士

训练营

一次浪费时间的面试

escray

程序员 面试 面经

区块链赋能医疗行业,区块链医疗应用场景开发

13530558032

五年Java开发经验,裸辞准备半月面试阿里,阿里巴巴却“不讲武德”,居然面了我7轮,历经千辛万苦终于斩获P7及Offer

Java架构之路

Java 程序员 架构 面试 编程语言

训练营第5周学习总结

爱码士

训练营

“新鲜出炉”阿里面试终极指南V3.0,符合一线大厂面试点需求

小Q

Java 学习 编程 架构 面试

高速二维码报警定位系统开发,智能报警系统

13530558032

一位Java程序员在上家公司CRUD了3年,金九银十想要跳槽面试却屡屡碰壁,感觉很迷茫!网友:这是你安逸太久技术能力跟不上了!

Java架构之路

Java 程序员 架构 面试 编程语言

甲方日常 55

句子

工作 随笔杂谈 日常

Java踩坑记系列之线程池

Java老k

Java 线程池

架构师训练营第 1 期第 10 周作业

业哥

前端如何实现一键截图功能?

徐小夕

Java 大前端 React

上周我面了个三年 Javaer,这几个问题都没答出来

yes

面试 RPC HTTP

奉劝各位Java工程师都要学习这份阿里内部绝密《百亿级并发系统设计》实战教程,大厂面试官可“不讲武德”!

Java架构之路

Java 程序员 架构 面试 编程语言

怎么做好一场分享或者培训

fq

JVM Metaspace内存溢出排查与总结

Java老k

Java OOM 内存溢出 metaspace

贞炸了!上线之后,消息收不到了!

楼下小黑哥

Java RocketMQ MQ

OAuth 2.0授权框架详解

程序那些事

OAuth 2.0 程序那些事 Oauth 授权框架 安全框架

第十周作业

Geek_4c1353

极客大学架构师训练营

Python进阶——如何正确使用魔法方法?(下)

Kaito

Python

贼好用,冰河开源了这款精准定时任务和延时队列框架!!

冰河

redis 中间件 消息队列 延时队列 Zset

字节跳动内部授课课件:附图讲解MySQL底层索引结构算法实现

小Q

Java MySQL 学习 编程 面试

《华为数据之道》读书笔记:序言

方志

数据中台 数字化转型 数据治理

MySQL选错索引导致的线上慢查询事故

Zhendong

Java MySQL

新图灵测试背后,智能交互点燃了哪些产业可能性?

脑极体

乘上这艘“智能体”之舟,即刻前往智慧未来

脑极体

字节面试数据结构与算法:B+树的删除和插入,不够详细你打我

小Q

Java MySQL 学习 面试 算法

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章