数据仓库解决方案——ODPS组件化改造之路

ODPS 简介：ODPS（Open Data Processing Service），是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案，现在已更名为 MaxCompute，MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

场景还原

不知道你是否在写离线代码时遇到过以下几种情况：

• 相同的业务代码逻辑分散在各个地方，需要维护多份相似功能代码；
• 存在多张相同结构的表输入，需要经过相同或相似的逻辑计算加工，并输出给下游表；
• 有一个计算逻辑非常复杂，需要经过多个子流程或多个节点处理，如何理清楚这些这些节点的逻辑和层次关系？

这里举几个场景，好让你更形象地理解。

1. 在某个系统中，数据分大促活动数据和日常数据。大促活动数据优先级较高，需要每小时地调度计算，日常数据优先级较低，只需要天级调度。PS：在这个场景中，我们处理这些数据的逻辑高度地相似甚至相同，并且输入表和输出表的 schema 也是一样的，唯一不同的是调度周期。
2. 在某系统中需要统计分析不同维度下的销售数据，比如城市、省份、时间段（天、周、月）、区域等等
3. 某平台需要给多个业务输出数据，希望不同业务间的数据做隔离，一个业务只能读取本业务范围内的数据。

原文链接:【 https://www.infoq.cn/article/hh5VBRygk75EJSCPNAhG 】。未经作者许可，禁止转载。