基于亚马逊云服务建数据仓库的数据流设计与架构-InfoQ



 写点什么

本文最初发表于 Medium 博客，经原作者 Abhijit Patil 授权，InfoQ 中文站翻译并分享。

在本文中，我们将介绍使用原生 AWS 服务构建 ETL 流程的众多设计之一，以及如何集成这些设计来构建端到端数据管道。

AWS 数据流（ETL）

在上图中，它代表了数据管道的四个主要方面，即数据摄取（Data Ingestion，E）、数据转换（Data Transformation，T）、数据加载（Data Load，L）和服务（Service，S）。

数据摄取（E）

在将数据从企业内部摄取到 AWS S3 中，还有很多其他模式。在这个流程中，我们代表了使用 HTTP 接口摄取数据的模式之一。其他模式可以使用 AWS 数据迁移服务，详情可参阅：https://aws.amazon.com/cloud-data-migration/。

a. 文件上传器 API

HTTPs API 使用托管在 EC2 上的 Spring boot 应用程序来上传/下载数据。这支持数据的多部分上传。

你可以使用 Spring boot 框架来编写文件上传器 API，并将其托管在自动伸缩的 EC2 上。要创建 Java 服务器端的文件上传器程序，请参考这个简单指南：https://spring.io/guides/gs/uploading-files/。

要让这个应用程序更具弹性，你可以将 ELB 和 Amazon EC2 Auto Scaling 添加到应用程序前面。

b. 数据移动到 S3

一旦收到数据文件，应用程序将暂时把数据保存在 EBS 卷中，然后使用 AWS SDK，可以把它移动到 S3 存储桶（Staging）。当数据移动到 S3 时，将会引发 S3 事件。通过该事件，可以触发 Lambda 函数，然后通过调用 Step 函数来触发 ETL 工作流。

注：S3 staging 存储桶将主要保存从源接收的原始数据。

数据转换（T）

强烈建议将可能是各种格式（如 JASON、XML、CSV 或任何其他格式）的原始数据转换成统一的数据格式，如数据湖（Data Lake）中的 parquet 格式。这样就能使数据湖的数据的标准化。

将按照下列高级步骤进行数据转换：

在 Step 函数工作流中，所有 ETL 转换阶段将被定义，一旦数据通过 Lambda 函数登陆到 staging S3 存储桶，该工作流就会被触发。工作流的第一阶段将是日期控制检查或业务日期检查，这将使用 Lambda 来完成，它在内部访问 DynamoDB，该数据库将存储日期控制和假日日历表。在上图中用箭头 4、5 和 5a 表示。在执行任何数据操作之前，Step 函数（状态机）的第一步是检查文件的完整性，例如校验和检查、行计数检查等，然后调用 Glue Crawler（爬网程序）来更新 Glue Catalog 中的模式，以获得新的数据。Step 函数的第二步将调用 Glue 作业，该作业将从 S3 存储桶的 staging 层读取数据，并将其转换为 parquet 格式，然后将最终的 parquet 文件写入 S3 持久层（数据湖）存储桶中。

注：一旦所有处理完成，可以调用相同的 Lambda 函数来更新 DynamoDB 中工作流的状态。

数据加载（L）

数据加载是将数据从持久层（数据湖）S3 存储桶加载到 Redshift 中。Redshift 将作为数据仓库或数据集市使用，用于定义域数据模型。

将按照下列高级步骤进行数据加载：

在成功完成 Step 函数的第二步后，将触发 Step 函数的第三步。Step 函数的第三步将触发另一个 Glue 作业（Glue Python shell 作业），它将执行 SQL（来自 Artefact 的 S3 存储桶），将数据从 S3 存储桶复制到 Redshift 表中。一旦数据加载完成，Lambda 将更新 DynamoDB 中工作流的状态。

注：在 SQL 函数中，你可以使用所有的业务逻辑。对于其他需要复杂转换的用例中，你可以调用 Glue Job 并调用 Java/Scala 代码。