构建现代化数仓 将 MPP DBMS 迁移至 Spark

1. Hive 的基本概述与原理

「Spark 从精通到重新入门 (二)」Spark 中不可不知的动态资源分配

资源是影响 Spark 应用执行效率的一个重要因素。Spark 应用中真正执行 task 的组件是 Executor，可以通过spark.executor.instances 指定 Spark 应用的 Executor 的数量。在运行过程中，无论 Executor上是否有task在执行，都会被一直占有直到此Spark应用结束。

看 CarbonData 如何用四招助力 Apache Spark

摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。

什么是大数据：从 GFS 到 Dataflow，12 年大数据生态演化图

要想学好大数据，我们需要先正本清源，弄清楚大数据在技术上到底涵盖了些什么。所以今天这节课，我就从大数据技术的核心理念和历史脉络这两个角度，来带你理解下什么是大数据技术。

开篇词 | Spark 性能调优，你该掌握这些“套路”

你知道Spark 3.0有哪些新特性吗？为什么自己学了那么多的调优方法，应用的执行性能还是上不去？

Spark 架构剖析：一个任务是怎么运行的

本文从一段代码开始，拆解Spark背后的运行机制

大数据培训 Spark 高频面试考点分享

​Spark 不一定非要跑在 hadoop 集群，可以在本地，起多个线程的方式来指定。将 Spark 应用以多线程的方式直接运行在本地，一般都是为了方便调试 _大数据培训。

万字长文，Spark 架构原理和 RDD 算子详解一网打进！

Spark超强攻略

Flink on Yarn 三部曲之一：准备工作，java 开发校招面试题

除了常见的standalone模式，Flink还支持将任务提交到Yarn环境执行，任务所需的计算资源由Yarn Remource Manager来分配，如下图(来自Flink官网)：

大数据开发面试之 26 个 Spark 高频考点

Spark 高频知识点，你都会了吗？

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在 Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

Spark 未来趋势：DeltaLake 实战

成功从 Hadoop 迁移到 Lakehouse 架构的 5 个关键步骤

从 Hadoop 迁移到基于云的现代架构（比如 Lakehouse 架构）的决定是业务决策，而非技术决策。我们在之前的文章中探讨了每一个组织都必须重新评估他们与 Hadoop 的关系的原因。本文中，我们将特别关注实际的迁移过程本身。你将学习成功迁移的关键步骤，以及 Lakehouse 架构在激发下一轮数据驱动创新中所扮演的角色。

大数据培训 Spark 数据倾斜问题的解决方法

​注意，要区分开数据倾斜与数据过量这两种情况，数据倾斜是指少数task被分配了绝大多数的数据，因此少数task运行缓慢；数据过量是指所有task被分配的数据量都很大，相差不多，所有task都运行缓慢_大数据培训。

教你如何在 Spark Scala/Java 应用中调用 Python 脚本

摘要：本文将介绍如何在Spark scala 程序中调用 Python 脚本，Spark java程序调用的过程也大体相同。

开篇词 | 入门 Spark，你需要学会“三步走”

通过“学、用、写”不断迭代的学习方式，我把零散的开发技巧归纳成了结构化的知识体系。

应用开发三原则：如何拓展自己的开发边界？

今天，我会从应用开发的角度入手，带你探讨开发阶段应该遵循的三大基础原则，让你在能尽可能地避开很多“坑”。

LinkedIn 数据分析技术栈的演进与实践

技术迁移是一项艰巨的工作，创新方法是有好处的。

探索 eBay 用于交互式分析的全新优化 Spark SQL 引擎

看一下 eBay 如何创建优化的 SQL 解决方案，它可以为新的基于开源的分析平台提供更高的速度、稳定性和可扩展性。

Spark 必读！总有一些 Spark 知识点你需要知道

一文梳理 Spark 必知必会知识点既可以快速对 Spark 有个简单清晰的认知；也可以回顾 Spark 基础概念和原理；还可以进行知识点查缺补漏。