阿里云飞天发布时刻,领先大模型限免,超7000万 tokens免费体验 了解详情
写点什么

仇应俊谈阿里云 OTS

  • 2012-11-18
  • 本文字数:643 字

    阅读完需:约 2 分钟

11 月 9 号的阿里云开发者大会上。来自与阿里的仇应俊分享了阿里云 OTS(开放结构化数据服务的技术实践),他首先分享了 OTS 的产生背景:

  1. 用户规模和应用所处理的数据呈现爆炸式增长;
  2. 服务的高可用性要求;
  3. 应用的数据库表结构会随着业务的增长而改变;

随后他又举了一个实例来说明传统数据库的局限:

用户数到达 3500 万的应用,图片记录数达到 10 万,每秒新增 3000 条记录,总数据量近百 TB。在这样的场景下,对于单机数据库,在规模处理时无能为力,最多支撑 1TB。静态表的分区、扩容也容易出现问题。

OTS 采用飞天的内核实现调度与底层通讯,在其上有结构化数据处理的引擎,应对用户的并发请求,并通过简介的 API 来供开发者调用。他指出了 OTS 在处理这些问题时的原则:

  1. 规模可伸缩性;数据会被水平分割成很多分区,自动调配到数据节点进行处理,当原有的数据分区不能满足需求以后自动进行再次的调配;
  2. 高可用性;针对硬件比如交换机之类的故障将会自动被侦测到,失效机器上的数据分区会被转移到其他的节点上;通过热升级的方式保证高可用性;
  3. 自动应对表结构变化。OTS 的数据模型对于属性列没有限制,可以实现动态增加;

数据安全一直都是一个敏感的话题,针对 OTS 的数据,他们目前会在几个层面上做保证:

  1. 数据会统一存储在底层分布式的文件系统,分布式文件系统会保证每个数据有多份的拷贝,当拷贝丢失或者损害的时候,系统会自动检测到会恢复。
  2. 每个数据在 OTS 里面都是隔离的,这样保证用户的数据是本身是安全可靠。

目前阿里的“冰火鸟”以及“云·OS”的用户存储空间都使用的 OTS。

2012-11-18 03:193119
用户头像

发布了 89 篇内容, 共 34.5 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

Spider实战系列-一次真实接单经历让我抓取了某东的数据

浅辄

爬虫 三周年连更

Unity 报错之 接入YomboTGSDK后打包报错:mainTemplate.gradle needs to be updated(property ‘unityStreamingAssets‘)

陈言必行

Unity 三周年连更

超级App与新零售:零售品牌如何利用小程序技术掌握未来商业机会?

FinFish

新零售 超级app 小程序技术 小程序容器技术

前端三板斧头 --- 编程范式

知心宝贝

JavaScript 学习 编程 前端 三周年连更

华为云等保解决方案为您提供最专业的团队,助您轻松过等保

IT科技苏辞

为什么说Flutter无法成为移动应用开发的“顶流明星”?

FinFish

flutter 前端框架 跨端框架

使用 Amazon Step Functions 和 Amazon Athena 实现简易大数据编排

亚马逊云科技 (Amazon Web Services)

STM32F103RCT6驱动SG90舵机-完成正反转角度控制

DS小龙哥

三周年连更

Paimon 专题上线|从 0 到 1 入门新一代流式数据湖存储

Apache Flink

大数据 flink 实时计算

打包python程序 | python小知识

AIWeker

Python python小知识 三周年连更

美光遭遇审查,存储市场成了“香饽饽”?

脑极体

美光

《致“抄我”的朋友:你已经被我列入白名单!》

程序员晚枫

开源

Socket学习网络基础

芯动大师

android TCP通信 三周年连更

去年我是怎么解决团队问题的

光毅

团队管理 领导力

Vue3 如何编写一个插件

程序员海军

Vue3 三周年连更

简单高效的Shell数组操作技巧与技术

小毛驴的烂笔头

linux命令 linux数组

一文读懂线程池的实现原理

老周聊架构

三周年连更

编程技术为王的天下终究要散了吗| 社区征文

卢卡多多

三周年征文

AI日课@20230417:AI之于教育;ChatGPT Sidebar:一个浏览网页时的强力AI助手

无人之路

人工智能 ChatGPT

《设计模式之禅》Strategy_Pattern--策略模式

浅辄

设计模式 Java、 三周年连更

一文掌握使用 Go 标准库 sort 对切片进行排序

陈明勇

Go golang 排序 三周年连更 sort

OpenHarmony/HarmonyOS应用上下文Context

坚果

OpenHarmony OpenHarmony3.2 三周年连更

全栈开发实战|SSM框架整合开发

TiAmo

ssm mybits 全栈开发 三周年连更

华为云等保合规方案,守护企业网络安全线

IT科技苏辞

Go语言并发编程的核心 —— GMP调度模型

Jack

挑战 30 天学完 Python:Day8 数据类型 - 字典 dict

MegaQi

Python 挑战30天学完Python 三周年连更

跨平台应用开发进阶(四十九)由环境切换引发的页面通讯机制思考

No Silver Bullet

跨平台应用开发 三周年连更 页面通讯机制

uniapp自定义富文本编辑器

格斗家不爱在外太空沉思

uni-app 三周年连更

NDP常用报文格式

穿过生命散发芬芳

NDP 三周年连更

Linux命令之find的高级用法

小毛驴的烂笔头

Linux find

HTTP方法大全

阿泽🧸

HTTP 三周年连更

仇应俊谈阿里云OTS_服务革新_水羽哲_InfoQ精选文章