阿里云「飞天发布时刻」2024来啦!新产品、新特性、新能力、新方案,等你来探~ 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:00806

评论

发布
暂无评论
发现更多内容

计算机视觉常用图像数据集标记平台

不脱发的程序猿

人工智能 计算机视觉 图像处理 图像数据集标记平台

Android studio 在外置硬盘运行项目报.lock 的错误

三爻

flutter android Mac Android Studio

从零开始学习3D可视化之获取对象

ThingJS数字孪生引擎

物联网 可视化 大屏可视化 3D可视化 数字孪生

百度智能云亮相CCBN2021,云智一体智媒产业智能化解决方案受关注

百度大脑

云智一体 CCBN

DMCC在迪拜正式启动加密中心

InfoQ_434670063458

DMCC 加密中心 自由区

六一儿童节,看我用ModelArts让8090梦回童年

华为云开发者联盟

AI 美食 童年 modelarts 六一

环信MQTT消息云正式发布,覆盖4大核心场景

环信

mqtt

聚焦大企业创新与创投生态,2021 DEMO WORLD 世界创新峰会圆满成功!

创业邦

webRTC探索音视频的录制的实现

云小梦

JavaScript WebRTC 浏览器API

全球案例 | 一家财富500强公司利用 Jira 和 Jira Align 将万人级团队的生产力提高了 30%

Atlassian

管理 DevOps 敏捷 Jira 协同办公

《原则》(一)

Changing Lin

6月日更

☕️【Java 技术之旅】360度全方位的教你认识网络IO模型

洛神灬殇

JVM Java、 编译器原理 6月日更

【LeetCode】包含min函数的栈Java题解

Albert

算法 LeetCode 6月日更

六一限定,致每一个追光者

白洞计划

新思科技推出Intelligent Orchestration解决方案 优化DevOps管道的速度和效率

InfoQ_434670063458

新思科技

仅需1秒!快速查看海淀全区情况,一句话让“智慧屏”全搞定

百度大脑

智能

工业制造业在数字化时代的三大发展方向

CECBC

“图发展”与“保安全”:大数据今后怎么玩?

CECBC

BoCloud博云微服务平台3.0正式发布:让微服务转型路径更清晰

BoCloud博云

微服务

mPaaS 月度小报 | 应用上线前都应该检查哪些指标?CodeHub#5回顾:小程序容器加持下的技术架构“提质增效”

蚂蚁集团移动开发平台 mPaaS

小程序 移动开发 mPaaS

Python3 Note 函数注解

awen

Python Function 函数注解

Python3 Note __slots__

awen

Python slots

bzz矿机分币系统开发,BZZ矿机节点APP搭建

GitHub上收录400余篇任正非的讲话稿

不脱发的程序猿

GitHub 开源 程序人生 任正非讲话

模块五总结

竹林七贤

Python3 Note 对象初始化

awen

Python 生命周期 对象初始化

工业智能(汽车)联合创新实验室发布 力促汽车工业融通发展

浪潮云

在一架天车中,透视5G时代的钢铁智变

脑极体

☕️【Java技术之旅】深入学习JIT编译器实现机制(原理篇)

洛神灬殇

Java 编译器 JIT 6月日更

个推CTO谈数据中台(上):从要求、方法论到应用实践

个推

大数据 数据中台 数字化转型 数据智能

一篇文章带你看懂计算机系统监控与可观测性发展史(干货)

观测云

云计算 可观测性

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章