10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001198

评论

发布
暂无评论
发现更多内容

android组件化通信,享学课堂

android 程序员 移动开发

Android的Io模型你了解多少,享学androidVIP课程百度云种子

android 程序员 移动开发

Android社招面试题,真香

android 程序员 移动开发

android组件化实现,动脑Android

android 程序员 移动开发

Android程序员架构之路该如何继续学习,纯干货

android 程序员 移动开发

卷王如何刷力扣

bigsai

数据结构 算法 刷题

Android程序员必经的实践之路:享学课堂androidVIP网盘资源

android 程序员 移动开发

Android程序员最新职业规划,熬了整整30天

android 程序员 移动开发

Android最牛教材!kotlin入门教程百度网盘

android 程序员 移动开发

Android模块化面向接口编程,快来收藏

android 程序员 移动开发

Android热修复原理,金九银十旗开得胜

android 程序员 移动开发

Android程序员必经的实践之路:享学课堂

android 程序员 移动开发

android组件化和插件化,android开发入门与实战网盘

android 程序员 移动开发

Android组件化入门,想搞定大厂面试官

android 程序员 移动开发

Android框架,动脑学院android视频

android 程序员 移动开发

Android的Io模型你了解多少?android开发教程百度网盘

android 程序员 移动开发

Android知识总结,动脑学院官网

android 程序员 移动开发

Android程序员架构之路该如何继续学习,华为架构师深入讲解Android开发

android 程序员 移动开发

android组件化开发框架,kotlin入门教程百度网盘

android 程序员 移动开发

Android经典面试题详解:kotlin入门教程百度网盘

android 程序员 移动开发

Android教程,享学androidvip

android 程序员 移动开发

Android最新实习面试经验总结,我就不信你还听不明白了

android 程序员 移动开发

Android最牛教材!享学课堂Android架构师二期

android 程序员 移动开发

Android热修复原理,跳槽字节跳动

android 程序员 移动开发

android热更新图片,动脑学院视频百度云

android 程序员 移动开发

Android系列学习进阶视频,扔物线课程怎么样

android 程序员 移动开发

Android系列学习进阶视频,kotlin入门教程百度网盘

android 程序员 移动开发

android组件化实现,享学androidVIP课种子

android 程序员 移动开发

Android知识体系大纲!动脑学院官网

android 程序员 移动开发

设计模式--策略模式与工厂模式

en

设计模式 工厂模式 策略模式

CICD sonarqube卡点实现思路

消失的子弹

Kubernetes DevOps CI/CD drone

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章