硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001424

评论

发布
暂无评论
发现更多内容

架构实战营模块4作业

Vic

架构实战营

开发中Docker常用容器记录

Docker

☕【Java技术之旅】从底层角度去认识线程的原理

码界西柚

Java 线程 Thread 线程协作 5月日更

今年过一次不一样的520!

liuzhen007

520单身福利 520 单身福利

设计千万级学生管理系统的考试试卷存储方案

Vincent

架构训练营

自我复盘

lenka

5月日更

高性能 JavaScriptの五 -- 快响应用户界面

空城机

JavaScript 大前端 5月日更

架构实战营-作业四

大可

🚄【Redis 干货领域】帮你完全搞定 Cluster 原理(实践篇)

码界西柚

redis redis集群 redis cluster 5月日更 redis架构

如何根据日志来了解一个请求经历了什么?

我爱娃哈哈😍

软件架构 架构设计 架构实战

和另一半过不一样的520

小英

520单身福利 520 单身福利

InnoDB 锁类型及其分析

luojiahu

innodb 死锁 间隙锁 意向锁

模块4-作业

yu

Python - 日志处理(logging模块)

若尘

日志 log Python编程 5月日更

架构学习笔记:读写分离

风翱

架构 5月日更

Go 并发编程 — 深入浅出 sync.Pool ,围观最全的使用姿势,理解最深刻的原理

奇伢云存储

并发编程 云存储 Go 语言

Shell脚本-简单爬虫

追风的少年

【音视频】基于声网实时音视频能力的音视频质量体系建设

轻口味

音视频 WebRTC 声网 质量指标

模块4作业4

wade

#架构实战营

如何提升Hadoop访问对象存储US3的效率?我们做了这些技术实践

UCloud技术

大数据 hadoop

【渗透测试】hackthebox靶场之ScriptKiddie

Thrash

MySQL主从网络延迟解决方案

运维研习社

MySQL 运维 主从同步 5月日更

Python 持久化 - 文件

若尘

文件 持久化 持久化存储 5月日更

Go 并发编程-goroutine 初体验

Rayjun

Go 语言 goroutine

模块四:课后作业

菲尼克斯

架构实战营

基于Mac的手动搭建WordPress个人站点的方法

三掌柜

5月日更

再谈前端性能监控及4个最佳工具分享

devpoint

大前端 sentry

ORACLE数据库应用开发三十忌

老猿Python

数据库 oracle 程序开发 数据库应用开发

设计千万级学生管理系统的考试试卷存储方案

9527

编辑器的江湖

ES_her0

5月日更

双峰哲学 - 一种深度工作的哲学

石云升

学习 职场经验 5月日更

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章