【AICon】AI 基础设施、LLM运维、大模型训练与推理,一场会议,全方位涵盖! >>> 了解详情
写点什么

仇应俊谈阿里云 OTS

  • 2012-11-18
  • 本文字数:643 字

    阅读完需:约 2 分钟

11 月 9 号的阿里云开发者大会上。来自与阿里的仇应俊分享了阿里云 OTS(开放结构化数据服务的技术实践),他首先分享了 OTS 的产生背景:

  1. 用户规模和应用所处理的数据呈现爆炸式增长;
  2. 服务的高可用性要求;
  3. 应用的数据库表结构会随着业务的增长而改变;

随后他又举了一个实例来说明传统数据库的局限:

用户数到达 3500 万的应用,图片记录数达到 10 万,每秒新增 3000 条记录,总数据量近百 TB。在这样的场景下,对于单机数据库,在规模处理时无能为力,最多支撑 1TB。静态表的分区、扩容也容易出现问题。

OTS 采用飞天的内核实现调度与底层通讯,在其上有结构化数据处理的引擎,应对用户的并发请求,并通过简介的 API 来供开发者调用。他指出了 OTS 在处理这些问题时的原则:

  1. 规模可伸缩性;数据会被水平分割成很多分区,自动调配到数据节点进行处理,当原有的数据分区不能满足需求以后自动进行再次的调配;
  2. 高可用性;针对硬件比如交换机之类的故障将会自动被侦测到,失效机器上的数据分区会被转移到其他的节点上;通过热升级的方式保证高可用性;
  3. 自动应对表结构变化。OTS 的数据模型对于属性列没有限制,可以实现动态增加;

数据安全一直都是一个敏感的话题,针对 OTS 的数据,他们目前会在几个层面上做保证:

  1. 数据会统一存储在底层分布式的文件系统,分布式文件系统会保证每个数据有多份的拷贝,当拷贝丢失或者损害的时候,系统会自动检测到会恢复。
  2. 每个数据在 OTS 里面都是隔离的,这样保证用户的数据是本身是安全可靠。

目前阿里的“冰火鸟”以及“云·OS”的用户存储空间都使用的 OTS。

2012-11-18 03:192671
用户头像

发布了 89 篇内容, 共 31.1 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

ISO文件怎么管?“筷子第一股”双枪科技教你1招!

科技怪咖

微服务面试必问的Dubbo,这么详细还怕自己找不到工作?

浅羽技术

微服务 dubbo 微服务框架 Dubbo服务 8月月更

超简单!Redis中的持久化策略汇总

知识浅谈

8月月更

Zabbix 监控系统保姆及教程

CTO技术共享

头脑风暴:二叉搜索树的最小绝对差

HelloWorld杰少

算法 LeetCode 8月月更

iofod - 新拟物设计的跨平台实践

iofod jude

FFmpeg打开输入文件

mei2022

8月月更

软件,英特尔人工智能的未来重点布局

科技之家

深势科技创始人&首席科学家张林峰:AI+分子模拟,赋能药物发现新源头

阿里云弹性计算

AI gpu 药物研究 分子模拟

leetcode 242. Valid Anagram 有效的字母异位词(简单)

okokabcd

LeetCode 算法与数据结构

每日一R「15」实践课之 kv-server(一)

Samson

学习笔记 8月月更 ​Rust

有人相爱,有人年少财务自由,有人数据结构都背不出来

浅羽技术

Java 数据结构 队列 红黑树 8月月更

@DataJpaTest 进行测试的坑

HoneyMoose

Spring Data 测试时的 Repository 提示为空对象

HoneyMoose

蓝凌“智慧云脑”,助力水务、燃气等集团服务民生

科技怪咖

蓝凌生态OA,重新定义中大型企业数字化办公

科技怪咖

干货|为什么说开源基金会的选择很关键?(上)

Orillusion

开源 WebGL 渲染引擎 webgpu web3d

负载均衡算法

源字节1号

程序员 软件开发

Docker下Prometheus和Grafana三部曲之三:自定义监控项开发和配置

程序员欣宸

Grafana Prometheus 8月月更

再深一点:如何给女朋友解释什么是微服务?

浅羽技术

微服务 微服务架构 单体架构 微服务框架 8月月更

云原生(二十六) | Kubernetes篇之Kubernetes(k8s)持久化

Lansonli

云原生 k8s 8月月更

解析大型电商网站系统架构分层设计

穿过生命散发芬芳

网站架构 8月月更

【Python编程技巧】简单理解和使用Python中@property

迷彩

@PropertySource 8月月更 Python编程技巧

「美团 CodeM 资格赛」数码 详解

Five

c++ 算法题 8月月更

Docker 端口映射重大安全漏洞

CTO技术共享

SpringBoot 打包发布

jar Linux SpringBoot 2 8月月更

从工程预算到项目管理,『蓝凌低代码』让房企管理更简单

科技怪咖

Nexus 私服Prometheus+Grafana

CTO技术共享

学习 Go 语言数据结构:实现双链表

宇宙之一粟

数据结构 双向链表 8月月更

[极致用户体验] 如何实现响应式canvas?保持canvas比例?教你让canvas自适应屏幕宽度!

HullQin

CSS JavaScript html 前端 8月月更

nft交易平台开发流程

开源直播系统源码

NFT 数字藏品 数字藏品系统

仇应俊谈阿里云OTS_服务革新_水羽哲_InfoQ精选文章