在 2025 收官前,看清 Data + AI 的真实走向,点击查看 BUILD 大会精华版 了解详情
写点什么

仇应俊谈阿里云 OTS

  • 2012-11-18
  • 本文字数:643 字

    阅读完需:约 2 分钟

11 月 9 号的阿里云开发者大会上。来自与阿里的仇应俊分享了阿里云 OTS(开放结构化数据服务的技术实践),他首先分享了 OTS 的产生背景:

  1. 用户规模和应用所处理的数据呈现爆炸式增长;
  2. 服务的高可用性要求;
  3. 应用的数据库表结构会随着业务的增长而改变;

随后他又举了一个实例来说明传统数据库的局限:

用户数到达 3500 万的应用,图片记录数达到 10 万,每秒新增 3000 条记录,总数据量近百 TB。在这样的场景下,对于单机数据库,在规模处理时无能为力,最多支撑 1TB。静态表的分区、扩容也容易出现问题。

OTS 采用飞天的内核实现调度与底层通讯,在其上有结构化数据处理的引擎,应对用户的并发请求,并通过简介的 API 来供开发者调用。他指出了 OTS 在处理这些问题时的原则:

  1. 规模可伸缩性;数据会被水平分割成很多分区,自动调配到数据节点进行处理,当原有的数据分区不能满足需求以后自动进行再次的调配;
  2. 高可用性;针对硬件比如交换机之类的故障将会自动被侦测到,失效机器上的数据分区会被转移到其他的节点上;通过热升级的方式保证高可用性;
  3. 自动应对表结构变化。OTS 的数据模型对于属性列没有限制,可以实现动态增加;

数据安全一直都是一个敏感的话题,针对 OTS 的数据,他们目前会在几个层面上做保证:

  1. 数据会统一存储在底层分布式的文件系统,分布式文件系统会保证每个数据有多份的拷贝,当拷贝丢失或者损害的时候,系统会自动检测到会恢复。
  2. 每个数据在 OTS 里面都是隔离的,这样保证用户的数据是本身是安全可靠。

目前阿里的“冰火鸟”以及“云·OS”的用户存储空间都使用的 OTS。

2012-11-18 03:193417
用户头像

发布了 89 篇内容, 共 36.8 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

工程师、程序员和产品经理

王泰

程序员 产品经理 IT 软件工程师 工程师思维

太赞了,VSCode 上也能画流程图了!

GitHubDaily

visual-studio GitHub 程序员 vscode 开发者工具

揭秘!开源软件背后的神秘组织

Apache Flink

大数据 flink 流计算 实时计算

学习型组织的修炼之道

Yanel 说敏捷产品

团队管理 项目管理 敏捷 团队协作 组织转型

【Howe学爬虫】全国统计用区划代码爬取

Howe

Java 爬虫

敏捷团队成员的工作量指标真的那么重要吗?

金生水起

敏捷开发 Scrum精髓 敏捷精髓 Agile

Android | Tangram动态页面之路(一)需求背景

哈利迪

android

【大咖说问大咖】关于开源的那些事 —— PingCAP CTO 黄东旭 Q&A 交流帖

InfoQ写作社区官方

开源 写作平台 大咖说 技术交流 热门活动

提升编程效率:重构

Page

高效工作 敏捷开发 重构 高效

看完这篇操作系统,和面试官扯皮就没问题了

苹果看辽宁体育

操作系统 计算机基础

spring注入bean的几种策略模式

王德发

Java Spring Boot 测试驱动开发实战营

2020 敏捷产品基本盘

Yanel 说敏捷产品

产品 敏捷 产品设计 产品推荐

MySQL备份基础

一个有志气的DB

MySQL 数据

原创 | 使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (七)CORRECT边界条件

编程道与术

Java 编程 软件测试 TDD 单元测试

BVR 才是变革的核心

Yanel 说敏捷产品

团队管理 项目管理 敏捷 敏捷开发 敏捷精髓

用"结构性张力"构建自驱力

Yanel 说敏捷产品

团队管理 敏捷 团队协作 项目

Java实现Base64

Java

从ClickHouse的名字由来讲起

nauu

数据库 大数据 分布式 OLAP Clickhouse

搜商:高效的使用搜索引擎

石云升

高效搜索 搜索技巧 搜商

真的!只需 “六步” 实现图像特定物体识别!!!

攀岩飞鱼

Python OpenCV 计算机视觉 图像识别 物体检测

Kafka零数据丢失的配置方案

奈学教育

kafka kafka配置 kafka数据

为什么我喜欢的大V拉黑我?

lmymirror

经历 后真相时代 日常思考

常见的主从报错集锦

一个有志气的DB

MySQL 主从配置 主从同步

MySQL索引知识介绍

Simon

MySQL 索引结构

多多益善的MacOS文件管理方案

陈东泽 EuryChen

macos Mac apple 提升效率 文件管理

近期工作的几点感想

Leiy

app退出登录

Serverless: 2020年函数计算的冷启动怎么样了

刘宇

数据分析的利器-clickhouse概述

流沙

数据库 Clickhouse

KK日知录20200515

kimmking

何时开始重构?

Page

敏捷开发 重构

Intellij IDEA2020.x如何安装Lombok插件

龙眼果

开发者工具

仇应俊谈阿里云OTS_服务革新_水羽哲_InfoQ精选文章