Apache Hadoop 2.4.0 发布

云小课｜MRS 基础原理之 Oozie 任务调度

Oozie是一个基于工作流引擎的开源框架，它能够提供对Hadoop作业的任务调度与协调。Oozie是一个工作流引擎服务器，用于运行MapReduce任务工作流。同时Oozie还是一个Java Web程序，运行在Tomcat容器中。

Spark 底层原理详细解析 (深度好文，建议收藏)

Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。

HDFS 杂谈：SnapShot 快照

HDFS数据备份及恢复手段：snapshot（快照）功能

精选 Hadoop 高频面试题 17 道，附答案详细解析

hadoop中常问的就三块，第一：分布式存储(HDFS)；第二：分布式计算框架(MapReduce)；第三：资源调度框架(YARN)。

真的了解 HDFS 的 SecondaryNameNode 是干什么的？

HDFS SecondaryNameNode是干什么的？

yarn 的基本介绍和产生背景

YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行 MapReduce、Tez、Spark 等多种计算框架，只要计算框架实现了 YARN 所定义的接口，都可以运行在这套通用的 Hadoop 资源管理和任务调度平台上。

Hive 学习笔记（二）

本篇是Hive学习笔记第二篇，第一篇传送门https://xie.infoq.cn/article/0c0f67ab82ed951b27481341d

25｜从集群角度拆解 Kafka 的架构设计与实现

详细分析 Kafka 副本之间的数据一致性、数据同步机制、Leader 切换、数据截断等等。

12｜从基础功能拆解 Kafka 的架构设计与实现

分析 Kafka 在通信协议、网络模块、存储模块、生产者、消费者等五个模块的设计思路。

3. ORM 框架概览：GORM 和 Ent 分析

Hadoop 全分布式部署

Hadoop全分布式部署

Hadoop 入门笔记—核心组件 YARN

Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 中的资源管理和作业调度系统， 在 Hadoop 2.x 时才被引入。

10- 分布式文件系统简介

集群规模不断膨胀，HDFS 架构如何演进？｜InfoQ 公开课

本次分享将从网易内部 HDFS 的实践出发，介绍如何透明地实现 Router-based Federation（简称 RBF）架构的上线，以及如何基于 RBF 实现 HDFS 集群的横向拆分以及纵向拆分，解决由于集群规模不断增大而遇到的各种问题。

云净天空——浅谈云中负载均衡器（下）

云中的负载均衡已经不只提供负载那么简单，负载均衡可以与云中服务器、云中的 K8s 进行深度结合，构建出新一代的网络应用。云中的负载均衡由于其灵活可视的特点，我们能够根据其特性，完成各类升级配置。 讲师介绍 吕蕴偲，SRE 工程师，就职于国内某云服务商，负责 DevOps 及云上解决方案架构设计，具有多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云，对多云云上架构设计部署有相关经验。 内容看点 负载均衡的功能妙用 无状态与负载均衡的弹性伸缩

Hadoop 学习过程中遇到的错误及解决方法

在自己学习搭建并使用Hadoop集群的时候，遇到的一些错误及解决方法。

加餐 03｜学习攻略（二）：大数据 & 云计算，究竟怎么学？

这节课我们学到了开源大数据生态中的三个重要角色，它们是Hadoop大数据平台的基础，负责了文件存储、资源管理和分布式协调。

Hadoop 入门笔记—核心组件 YARN

基本概述Apache YARN (Yet Another Resource Negotiator) 是 Hadoop 中的资源管理和作业调度系统， 在 Hadoop 2.x 时才被引入。

hadoop 源码编译参考

https://www.cnblogs.com/shoufeng/p/14942271.html

在 Spark Scala/Java 应用中调用 Python 脚本，会么？

摘要：本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。