数据仓库解决方案——ODPS组件化改造之路

2020 年 9 月 12 日

数据仓库解决方案——ODPS组件化改造之路

ODPS 简介:ODPS(Open Data Processing Service),是阿里巴巴通用计算平台提供的一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案,现在已更名为 MaxCompute,MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

场景还原

不知道你是否在写离线代码时遇到过以下几种情况:

  • 相同的业务代码逻辑分散在各个地方,需要维护多份相似功能代码;
  • 存在多张相同结构的表输入,需要经过相同或相似的逻辑计算加工,并输出给下游表;
  • 有一个计算逻辑非常复杂,需要经过多个子流程或多个节点处理,如何理清楚这些这些节点的逻辑和层次关系?

这里举几个场景,好让你更形象地理解。

  1. 在某个系统中,数据分大促活动数据和日常数据。大促活动数据优先级较高,需要每小时地调度计算,日常数据优先级较低,只需要天级调度。PS:在这个场景中,我们处理这些数据的逻辑高度地相似甚至相同,并且输入表和输出表的 schema 也是一样的,唯一不同的是调度周期。
  2. 在某系统中需要统计分析不同维度下的销售数据,比如城市、省份、时间段(天、周、月)、区域等等
  3. 某平台需要给多个业务输出数据,希望不同业务间的数据做隔离,一个业务只能读取本业务范围内的数据。

原文链接:【 https://www.infoq.cn/article/hh5VBRygk75EJSCPNAhG 】。未经作者许可,禁止转载。

登录后可解锁全站优质内容

免费畅享技术公开课、顶尖技术团队访谈、一线互联网大厂技术实践

文章
视频
电子书
研究报告
立即登录
2020 年 9 月 12 日 14:00 1183

评论

发布
暂无评论
发现更多内容

Android与JS的交互:JsBridge的简单使用

brave heart

JavaScript android

谈谈控制感(8):元控制感

史方远

职场 心理 成长

《零基础学 Java》 FAQ 之 12-理解引用

臧萌

Java

圆圈正义 - 读后感

石云升

读书笔记 法律 公平 现实

学会独立思考的前提

fahsa

自我提升

突然的自我

月白

自我思考

Flask-SQLAlchemy 多表对单模型

Leetao

Python flask 编程语言 flask-sqlalchemy

区块链2.0--以太坊概述

皮卡丘的猫

new() 和 make的区别

陈思敏捷

go golang 源码 源码分析

Go: Trace包探秘

陈思敏捷

go golang 原理

Go: 应该使用指针还是结构体副本?

陈思敏捷

go golang struct 原理 pointer

SpringCloud之服务提供者与消费者

北漂码农有话说

如何为一家移动游戏公司制定产品策略(严肃长文)

谢锐 | Frozen

游戏出海 手机游戏

我是如何拿下PMP认证和系统架构设计师考试的?

Nick

RocketMQ - 什么是RocketMQ

Java收录阁

RocketMQ

力扣刷题盛行,风气由何而来?

南湾小猪

刷题

Dubbo - 初识Apache Dubbo

Java收录阁

dubbo

看完这篇 Session、Cookie、Token,和面试官扯皮就没问题了

cxuan

https

prometheus中honor_labels配置项的源码分析

陈思敏捷

go golang Prometheus

利与弊-传统框架要不要部署在Serverless架构上

刘宇

Serverless Web

k8s上运行我们的springboot服务之——cloud gateway

柠檬

k8s Spring Cloud

从40万美元创业到执掌5500亿美元的帝国,聊聊《苏世民:我的经验与教训》这本书

万佳

读书笔记 商业 苏世民 金融 企业管理

JUC整理笔记一之细说Unsafe

JFound

Java

游戏夜读 | 怎么让游戏跑起来?

game1night

《零基础学 Java》 FAQ 之 10-Scanner里nextInt的小坑

臧萌

Java

Dig101-Go之如何在函数内修改指针

newbmiao

go golang dereference pointer

Mysql增量更新-ON DUPLICATE KEY UPDATE

BerryMew

MySQL 增量更新 ON DUPLICATE KEY UPDATE

Java环境搭建

编号94530

Java java8 Java环境 环境安装 jdk安装

python实现·十大排序算法之插入排序(Insertion Sort)

南风以南

Python 排序算法 插入排序

Go: g0, 特殊的goroutine

陈思敏捷

go golang 原理

《零基础学 Java》 FAQ 之 11-为什么构造方法中调用重载的构造方法必须得是在第一行

臧萌

数据仓库解决方案——ODPS组件化改造之路-InfoQ