Hadoop_Hadoop框架_Hadoop架构-InfoQ



如何快速打造高稳定千亿级别对象存储平台 | QCon

演讲人: 赵健博

9 月 30 日

快手每天都有海量的视频数据上传存储，到目前为止所有的视频以及衍生数据总量更是数量庞大，且视频本身有大有小，如何存储这些数据将是一个颇具挑战性的问题。

数据湖与数据仓库的新未来：阿里提出湖仓一体架构

作者 : 施尧

9 月 25 日

近几年，随着数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么？本文作者来自阿里巴巴计算平台部门，在深度参与阿里巴巴大数据 / 数据中台领域建设之后，将对数据湖和数据仓库的来龙去脉进行深入剖析，阐述两者融合演进的新方向——湖仓一体。

从 Hadoop 到云原生（2）：Kyligence 在云原生巨浪中的思考

作者 : apachekylin

9 月 18 日

云原生的巨浪正在席卷全球的软件产业，包括开源软件和商业软件。

复盘领英 Hadoop 数据丢失事故，我们得到的血泪教训

作者 : Sandhya Ramu 译者: 核子可乐策划: 蔡芳芳

9 月 11 日

希望我们从大数据生态系统重大事故中学到的东西，也能给各位带来一点启示。



Apple Siri @ Spark, FoundationDB, Hadoop and HBase | ArchSummit

演讲人: Cesar Delgado

9 月 7 日

演讲：Apple Siri @ Spark, FoundationDB, Hadoop and HBase（英文演讲）

大数据技术发展 (二)：Hadoop 技术生态圈的发展

Jeffy

8 月 19 日

Hadoop 是大数据领域中最重要的一门技术，我们很多人知道它是发源于 google 的"三驾马车"，实际上真的是这样的吗？这篇文章一探 Hadoop 技术的起源。

Apache Hadoop 3.3.0 发布，正式支持腾讯云对象存储 COS

作者 : 蔡芳芳

8 月 5 日

大数据开发者将可以无缝使用中国云存储

监控大规模 Hadoop 集群，Prometheus 完胜 Zabbix？

作者 : dbaplus社群

8 月 3 日

本文介绍利用 Prometheus 为核心来构建大数据集群监控平台的经验。

Hadoop 怎么了，大数据路在何方

作者 : 姚延栋

5 月 12 日

本文以 Hadoop 的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。

Zookeeper 选举机制

tunsuy

5 月 1 日

通过源码的分析，了解 zookeeper 作为分布式协调服务，在集群部署下的选举流程

基于 Hadoop 的 58 同城离线计算平台设计与实践

作者 : DataFunTalk

4 月 15 日

本文介绍大数据平台离线计算和探讨 58 在离线计算平台建设实践的思路、方案和问题解决之道。

被仰望和遗忘过的 Cloudera 是否能王者归来？

作者 : 郭华策划: 万佳

4 月 10 日

本文讲述了 Cloudera 的故事：曾被仰望，后被遗忘，光荣不再，王者能否归来。

EB 级 HDFS 集群磁带存储资源池的建设实践

作者 : 饶有清

4 月 9 日

本文主要介绍 HDFS 磁带存储资源池建设的实践，拓展 HDFS 异构存储到磁带存储介质，强化了 HDFS 低成本海量数据存储能力。

快手大数据架构演进实录

作者 : 小智

3 月 24 日

快手大数据架构团队组建于 2017 年，短短三年间已搭建起一个万亿级规模的大数据架构体系。快手的大数据架构是怎样演进的？在春晚红包活动中遇到了哪些挑战，又是如何应对的？在 Hadoop 的应用上，快手有何经验可供业界参考？

携程 Hadoop 跨机房架构实践

作者 : 昱康

3 月 15 日

本文介绍携程 Hadoop 跨机房架构实践。

大数据公司 LiveRamp 上云记（三）：如何在吞吐量有限的情况下处理数据复制

作者 : Benjamin Podgursky 译者: 良言策划: Tina

2 月 21 日

大数据公司 LiveRamp 公司在 2019 年逐步把它们迁移到了谷歌云计算平台，本系列文章将从技术角度深入地探讨这次迁移之旅。

Flink 高级应用模式第一辑：欺诈检测系统案例研究

作者 : Alexander Fedulov 译者: 王强策划: 赵钰莹

2 月 5 日

这是用来构建流应用程序的强大 Flink 模式



Apache Hadoop 机器学习引擎 Submarine 及生态 | QCon

演讲人: 刘勋

2 月 5 日

中。进行模型的在线推测和模型增量更新。的生态系统。中进行离线模型训练。项目主干分支，让你可以零开发成本的搭建自己的机器学习开发平台。

字节跳动 EB 级 HDFS 实践

作者 : 字节跳动技术团队

1 月 7 日

本文从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。

2019 年“大数据软件”十大融资事件

作者 : Tina

2019 年 12 月 20 日

大数据黄金收割之年

迁移了几十家企业之后，我们总结了如何在云中构建成功的现代数据分析平台

作者 : ML-Guy 译者: 核子可乐策划: Tina

2019 年 11 月 29 日

这样一套强大的数据平台已经成为企业所不可或缺的数字化与 AI 转型基础。

Hadoop or TDengine，如何做物联网大数据平台的选型？

作者 : DataFunTalk

2019 年 11 月 26 日

本文介绍物联网大数据处理中可能遇到的问题，分析 TDengine、InfluxDB、ClickHouse、Hadoop、MySQL 等系统在处理时序数据时的优缺点。

怎样用 Hadoop 保护大数据？

作者 : Priya James 译者: 足下策划: 万佳

2019 年 11 月 11 日

通过本文，你可以了解 Hadoop 如何通过网络安全的方法来保护大数据。

专访阿里姜伟华：实时数仓，如何能做得更好？

作者 : Tina

2019 年 11 月 10 日

现在的实时计算还有哪些问题？

集群过千的趣头条为何选择“回归”自研 Hadoop 管理平台？

作者 : Tina

2019 年 11 月 6 日

“上云还是占大多数，从云上下来的还是少数。“

AWS 数据湖十年，云计算老大哥的磨刀之路

作者 : Tina

2019 年 10 月 28 日

数据湖的作用在未来肯定越来越重要。

是时候考虑让 Spark 运行在 K8s 上了

作者 : 华为云容器服务团队

2019 年 9 月 29 日

最新的 Spark 版本支持不做任何修改直接跑在 K8s 上

阿里巴巴高级技术专家章剑锋：大数据发展的 8 个要点

作者 : 章剑锋_Jeff

2019 年 9 月 29 日

大数据的现状和未来

深度分析数据科学流水线和 Hadoop 生态系统

作者 : Benjamin Bengfort 译者: 王纯超

2019 年 9 月 29 日

数据科学流水线是一种教学模型，用于教授对数据进行全面统计分析所需的工作流。

如何使用 Hadoop 构建大规模数据产品？

作者 : Benjamin Bengfort 译者: 王纯超

2019 年 9 月 29 日

大多数数据科学家会采用典型的分析工作流：采集 → 整理 → 建模 → 报告和可视化。然而，这种所谓的数据科学流水线完全由人力驱动，再辅以脚本语言（如 R 和 Python）的使用。流水线的每一个环节都需要人类的知识和分析技能，意在产生独特且不可泛化的结果。

Hadoop

推荐作者

大厂实战PPT下载

推荐频道