写点什么

阿里巴巴集团数据平台总监张东晖谈阿里云 ODPS

  • 2012 年 11 月 17 日
  • 本文字数:713 字

    阅读完需:约 2 分钟

阿里云开发者大会上,阿里巴巴集团数据平台总监张东晖分享了 ODPS 离线处理技术,目前针对于淘宝、支付宝、天猫等拥有的海量数据,阿里使用了 ODPS 进行离线处理。

他首先提到了这个系统所面临的挑战:

  1. 高可用性;
  2. 数据量太大;
  3. 安全性;
  4. 正确性;
  5. 服务性;
  6. 低成本

现有的 ODPS 通过一个控制集群管理大集群机器,满足了扩展性的要求。在多租户方面,他解释了两个基本概念:

  1. 基本空间,项目的基本空间提供实体运行空间。任何的跨项目访问都是需要进行授权,同时基本空间也是计量、收费和额度管理的基本单位。
  2. 安全体系,IDPS 为了实现多租户的隔离做了三层的安全体系。第一层是认证体系,采用一致的 API,第二层是在数据对象上实施防控制策略,第三层在飞天的底层上的防护。

对于编程模型方面,ODPS 能够满足多种编程模型,这与平台本身的框架是正交的。对处理数据本身,他提到:

因为都是离线处理流程,针对一个处理流程可以用不同的编程模型编写,用 PD 脱数据,然后处理,最后使用 MPI 运算供最后的使用。从数据处理本身而言,支持数据流有点像带着图式的方式来支持多任务的调度,可以在同一个作业当中有参数化等等,作为调动系统的一部分这些逻辑。

他还提到对于 ODPS 的存储模型是物理存储和逻辑存储相互分开的,并在存储层面减少 IO,数据统一采用实体的形式并采用行存储方式。对于小文件采用 OTS 的小存储,元数据存储在 OTS 中,有利于高并发和规模扩展,同时在存储模型上还有一个带压缩的列存储。

针对于 ODPS 上支持的业务,他提供了一些案例分享:

  • 数据魔方,包括了数据通道离线、在线完整的应用、实施访问;
  • 阿里金融,是多租户隔离的最佳体现;
  • MPI 的算法,飞天开放平台可以调动 MPI 的进程,目前可以处理 10Mx10M 的分解;
  • 数据化运维;
2012 年 11 月 17 日 01:553254
用户头像

发布了 89 篇内容, 共 28.0 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

响应式编程到底是什么?

博文视点Broadview

Java 响应式 响应式编程 reactor 并发

译文|简明指南:Apache Pulsar 的分层存储

Apache Pulsar

开源 云原生 存储分离 Apache Pulsar 消息中间件

解Bug之路-记一次对端机器宕机后的tcp行为

无毁的湖光

Linux TCP socket MQ Java 分布式

高难度对话读书笔记—情绪篇2

wo是一棵草

我把某大厂P8大牛手写的 Linux+网络编程 手册搞到手了

互联网架构师小马

Java Linux 程序员 网络编程 操作系统

架构师训练营 - 第 2 周学习总结(1 期)

阿甘

oeasy 教您玩转 linux 010400 总结 summary

o

第6周作业

方堃

网站日志分析最完整实践

MySQL从删库到跑路

Redis 发布订阅,小功能大用处,真没那么废材!

楼下小黑哥

Java redis spring

架构师训练营 - 第 2 周课后作业(1 期)

阿甘

看动画学算法之:排序-count排序

程序那些事

动画 看动画学算法 看动画学数据结构 count排序

判断一个请求是否是Ajax异步请求

麦洛

ajax

甲方日常 20

句子

工作 随笔杂谈 日常 Java 25 周年

Spring系列之新注解配置+Spring集成junit+注解注入

Java spring 微服务 架构师

第7周的总结

Vincent

极客时间 极客大学

第2周

Geek_fabd84

高并发下为什么更喜欢进程内缓存

架构师修行之路

缓存 架构设计

LeetCode题解:145. 二叉树的后序遍历,递归,JavaScript,详细注释

Lee Chen

大前端 LeetCode

架构师第一期作业(第二周)

Cheer

课程作业

时空碰撞优化系列·二

誓约·追光者

hive Sparksql 计算效率 优化

第7周作业

Vincent

极客时间 极客大学

Android Native crash处理案例分享

阿里云金融线TAM SRE专家服务团队

android

架构师训练营 1 期第 2 周:框架设计 - 作业

piercebn

极客大学架构师训练营

架构师训练营第 1 期 -week2

习习

微前端qiankun从搭建到部署的实践

fengxianqi

大前端 微应用

是的,我去封闭开发了

程序员与厨子

生活,随想 工作哲学 摄影 摄影征文

分布式高并发下Actor模型如此优秀

架构师修行之路

系统设计 reactor 高并发

一夜爆火,只因阿里内部作为参考的SpringBoot巅峰之作git开源

小Q

Java 架构 面试 微服务 springboot

超越色彩的魅力:读《黑白适界》

北风

艺术 摄影 黑白 摄影征文 画册

anyRTC无人机图传方案

anyRTC开发者

WebRTC 语音 直播 RTC 安卓

阿里巴巴集团数据平台总监张东晖谈阿里云ODPS_云计算_水羽哲_InfoQ精选文章