hdfs

基于ZFS的Hadoop透明压缩
基于 ZFS 的 Hadoop 透明压缩

对集群数据进行合理的操作,能够节省集群的存储资源,提高存储资源利用率。

作者: 大数据架构

全面了解大数据“三驾马车”的开源实现
全面了解大数据“三驾马车”的开源实现

谷歌大数据“三驾马车”论文对应的开源项目实现-HDFS、MapReduce与HBase

作者: 李智慧

2019 年 2 月 14 日
是时候考虑让Spark运行在K8s上了
是时候考虑让 Spark 运行在 K8s 上了

最新的Spark版本支持不做任何修改直接跑在K8s上

作者: 华为云容器服务团队

HDFS监控背后那些事儿,构建Hadoop监控共同体
HDFS 监控背后那些事儿,构建 Hadoop 监控共同体

Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS 能...

作者: 京东云应用研发部

2019 年 9 月 15 日
唯品会HDFS性能挑战和优化实践
唯品会 HDFS 性能挑战和优化实践

本文以唯品会HDFS实际应用场景和问题导向触发,介绍了优化方案的局限性,分享了这些局限性的解决和实施经验...

作者: 唯技术

2019 年 4 月 4 日
Router-Based HDFS Federation 在滴滴大数据的应用
Router-Based HDFS Federation 在滴滴大数据的应用

为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题,社区提出了Federation方案来进行解决。

作者: 费辉

HDFS NameNode 重启优化

本文基于Hadoop-2.x和HA with QJM社区架构和系统设计,通过梳理NameNode重启流程,并在此基础上,阐述对...

作者: 新美大离线存储团队

2017 年 3 月 6 日
联通大数据5000台规模集群故障自愈实践
联通大数据 5000 台规模集群故障自愈实践

本文介绍通过采集分析Prometheus里的告警数据,利用fabric或ansible等多线程安全并发远程连接工具,执行...

作者: dbaplus社群

2019 年 8 月 28 日
部署高可用的EMR集群,为您的业务连续性保驾护航
部署高可用的 EMR 集群,为您的业务连续性保驾护航

Amazon EMR 是一个托管集群平台,可简化在 AWS 上运行大数据框架(如 Apache Hadoop 和 Apache Spark)以...

作者: 亚马逊AWS官方博客

2019 年 9 月 27 日