10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001253

评论

发布
暂无评论
发现更多内容

App自动化控件定位

霍格沃兹测试开发学社

Docker 搭建性能监控平台

霍格沃兹测试开发学社

K8s 常见面试题

互联网工科生

Kubernetes k8s

计算机网络知识,一文搞定

霍格沃兹测试开发学社

Andriod微信小程序自动化测试

霍格沃兹测试开发学社

LCR 089. 打家劫舍

红袖添香

动态规划 力扣 打家劫舍

自动化测试之模拟器控制

霍格沃兹测试开发学社

java程序员应该知道的k8s容器资源申请攻略

摸鱼编程

Java 容器 k8s JVM

web自动化解决文件上传和弹框

霍格沃兹测试开发学社

数据库变革:HashData云数仓实现事务级实时性

酷克数据HashData

TestNG 与 Junit如何选择

霍格沃兹测试开发学社

google borg(k8s亲爹) 论文读后感

摸鱼编程

k8s Google borg

2023-08-18:用go写算法。你会得到一个字符串 text, 你应该把它分成 k 个子字符串 (subtext1, subtext2,…, subtextk)。 要求满足: subtexti 是

福大大架构师每日一题

福大大架构师每日一题

Serverless 应用托管助力企业加速创新

阿里巴巴云原生

阿里云 Serverless 云原生

LLM 落地电商行业的最佳实践来了?Zilliz X AWS 有话说

Zilliz

AWS Zilliz 向量数据库 电商行业 大模型落地

mutex vs atomic

Geek_44385e

Atomic mutex 互斥锁

小灯塔系列-中小企业数字化转型系列研究——MICE测评报告

向量智库

Appium WebView 技术原理

霍格沃兹测试开发学社

k8s中无声的性能杀手:cpu thorttling(限流)

摸鱼编程

k8s 性能 高并发

腾讯云 CODING 荣获 TiD 质量竞争力大会 2023 软件研发优秀案例

CODING DevOps

Docker 搭建Web服务器nginx

霍格沃兹测试开发学社

Docker 容器技术与常用命令

霍格沃兹测试开发学社

OpenCloudOS WOW 活动上线啦!千份社区好礼等你来拿!

OpenCloudOS

操作系统

开放原子开源基金会六、七月新增捐赠人

开放原子开源基金会

开源

gitlab 服务端 hook, 拦截糟糕的提交到仓库

霍格沃兹测试开发学社

APP自动化如何使用参数化用例

霍格沃兹测试开发学社

APP自动化之Toast识别

霍格沃兹测试开发学社

软件测试/测试开发丨Python 模块与包 学习笔记

测试人

Python 程序员 软件测试 自动化测试 测试开发

智能多通道系统实现消息推送更智能更高效

MobTech袤博科技

前端 前端开发 消息推送 APP开发

Postman做 接口自动化测试

霍格沃兹测试开发学社

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章