Hadoop_Hadoop框架_Hadoop架构-InfoQ

架构师（2021 年 7 月）

作者 : InfoQ 中文站

7 月 8 日

本期推荐内容：京东云靠什么撑起 618 大促？后 Hadoop 时代，大数据分析路在何方？Data Mesh，数据架构的下一个变革！

后 Hadoop 时代，大数据分析路在何方？

作者 : 史少锋策划: Tina

5 月 31 日

Hadoop 还有大的发展吗？

明略千亿大数据处理能力是如何炼成的？

作者 : 万佳

5 月 18 日

网购、叫车、订外卖、看电影...... 移动互联网各种场景的背后都离不开大数据技术。经过十几年的发展，大数据技术已经成为互联网企业的基础设施。

11 天里 13 个 Apache 开源项目宣布退休，Hadoop 的时代结束了

作者 : Andrew Brust 译者: 王强策划: 刘燕

5 月 18 日

Hadoop 和大数据的黄金年代已经正式结束。

Hadoop 的“遗产”

作者 : Tony Baer 译者: Sambodhi 策划: 刘燕

5 月 8 日

宣布 “Hadoop 已死”已成为一种时尚。但，Hadoop 让企业失去了对大数据的恐惧。



大数据技术升级脉络及认知陷阱 | InfoQ 大咖说

演讲人: 余利华

4 月 26 日

本期，网易数据科学中心总监余利华现身大咖说，他将结合自身在大数据领域的从业经历，分析大数据技术应用逐步升级的脉络，解读背后的业务需求与认知陷阱。

ClickHouse 在京东能源管理平台的应用实践

作者 : 京东数科

2 月 9 日

ClickHouse 是一款面向大数据场景下的 OLAP 数据库，相比于传统的基于 Hadoop 生态圈的 OLAP 大数据分析系统，ClickHouse 具有极致的查询性能、轻量级的架构设计及维护简单等优势。

Hadoop 之 HDFS 内部机制知多少？

hanke

1 月 26 日

探寻 Hadoop 里另外一个重要组件 HDFS 的架构和高可用相关机制

Hadoop 的 MapReduce 到底有什么问题？

hanke

1 月 14 日

作为 Hadoop 里重要的分布式计算组件 MapReduce 到底存在什么样的问题，大家纷纷都转投其他技术栈？我们来一起探个究竟。本文会先详细解析一下整个 MapReduce 的过程，编程方式，然后再去分析一下存在的问题和其中可以借鉴的点。

深度探索 Hadoop 分布式文件系统（HDFS）数据读取流程

读字节

2020 年 12 月 24 日

Hadoop 分布式文件系统（HDFS）是 Hadoop 大数据生态最底层的数据存储设施。因其具备了海量数据分布式存储能力，针对不同批处理业务的大吞吐数据计算承载力，使其综合复杂度要远远高于其他数据存储系统。

Zookeeper 浅谈

作者 : 王巧敏

2020 年 11 月 11 日

通常我们在使用 dubbo 的时候会建议使用 zookeeper 作为注册中心，也可以用 redis,eureka 作为注册中心，当然我只用过 zookeeper,dubbo 相当于搭载一个服务框架，zookeeper 则是服务注册的中心。



如何快速打造高稳定千亿级别对象存储平台 | QCon

演讲人: 赵健博

2020 年 9 月 30 日

快手每天都有海量的视频数据上传存储，到目前为止所有的视频以及衍生数据总量更是数量庞大，且视频本身有大有小，如何存储这些数据将是一个颇具挑战性的问题。

数据湖与数据仓库的新未来：阿里提出湖仓一体架构

作者 : 施尧

2020 年 9 月 25 日

近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？本文作者来自阿里巴巴计算平台部门，在深度参与阿里巴巴大数据 / 数据中台领域建设之后，将对数据湖和数据仓库的来龙去脉进行深入剖析，阐述两者融合演进的新方向——湖仓一体。

从 Hadoop 到云原生（2）：Kyligence 在云原生巨浪中的思考

作者 : apachekylin

2020 年 9 月 18 日

云原生的巨浪正在席卷全球的软件产业，包括开源软件和商业软件。

复盘领英 Hadoop 数据丢失事故，我们得到的血泪教训

作者 : Sandhya Ramu 译者: 核子可乐策划: 蔡芳芳

2020 年 9 月 11 日

希望我们从大数据生态系统重大事故中学到的东西，也能给各位带来一点启示。



Apple Siri @ Spark, FoundationDB, Hadoop and HBase | ArchSummit

演讲人: Cesar Delgado

2020 年 9 月 7 日

演讲：Apple Siri @ Spark, FoundationDB, Hadoop and HBase（英文演讲）

大数据技术发展 (二)：Hadoop 技术生态圈的发展

抖码算法

2020 年 8 月 19 日

Hadoop 是大数据领域中最重要的一门技术，我们很多人知道它是发源于 google 的"三驾马车"，实际上真的是这样的吗？这篇文章一探 Hadoop 技术的起源。

Apache Hadoop 3.3.0 发布，正式支持腾讯云对象存储 COS

作者 : 蔡芳芳

2020 年 8 月 5 日

大数据开发者将可以无缝使用中国云存储

监控大规模 Hadoop 集群，Prometheus 完胜 Zabbix？

作者 : dbaplus社群

2020 年 8 月 3 日

本文介绍利用 Prometheus 为核心来构建大数据集群监控平台的经验。

Hadoop 怎么了，大数据路在何方

作者 : 姚延栋

2020 年 5 月 12 日

本文以 Hadoop 的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。

Zookeeper 选举机制

tunsuy

2020 年 5 月 1 日

通过源码的分析，了解 zookeeper 作为分布式协调服务，在集群部署下的选举流程

基于 Hadoop 的 58 同城离线计算平台设计与实践

作者 : DataFunTalk

2020 年 4 月 15 日

本文介绍大数据平台离线计算和探讨 58 在离线计算平台建设实践的思路、方案和问题解决之道。

被仰望和遗忘过的 Cloudera 是否能王者归来？

作者 : 郭华策划: 万佳

2020 年 4 月 10 日

本文讲述了 Cloudera 的故事：曾被仰望，后被遗忘，光荣不再，王者能否归来。

EB 级 HDFS 集群磁带存储资源池的建设实践

作者 : 饶有清

2020 年 4 月 9 日

本文主要介绍 HDFS 磁带存储资源池建设的实践，拓展 HDFS 异构存储到磁带存储介质，强化了 HDFS 低成本海量数据存储能力。

快手大数据架构演进实录

作者 : 小智

2020 年 3 月 24 日

快手大数据架构团队组建于 2017 年，短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的？在春晚红包活动中遇到了哪些挑战，又是如何应对的？在 Hadoop 的应用上，快手有何经验可供业界参考？

携程 Hadoop 跨机房架构实践

作者 : 昱康

2020 年 3 月 15 日

本文介绍携程 Hadoop 跨机房架构实践。

大数据公司 LiveRamp 上云记（三）：如何在吞吐量有限的情况下处理数据复制

作者 : Benjamin Podgursky 译者: 良言策划: Tina

2020 年 2 月 21 日

大数据公司 LiveRamp 公司在 2019 年逐步把它们迁移到了谷歌云计算平台，本系列文章将从技术角度深入地探讨这次迁移之旅。

Flink 高级应用模式第一辑：欺诈检测系统案例研究

作者 : Alexander Fedulov 译者: 王强策划: 赵钰莹

2020 年 2 月 5 日

这是用来构建流应用程序的强大 Flink 模式



Apache Hadoop 机器学习引擎 Submarine 及生态 | QCon

演讲人: 刘勋

2020 年 2 月 5 日

中。进行模型的在线推测和模型增量更新。的生态系统。中进行离线模型训练。项目主干分支，让你可以零开发成本的搭建自己的机器学习开发平台。

字节跳动 EB 级 HDFS 实践

作者 : 字节跳动技术团队

2020 年 1 月 7 日

本文从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。

创作场景

Hadoop

推荐作者

大厂实战PPT下载

推荐频道