50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

天翼云

  • 2023-09-14
    北京
  • 本文字数:2356 字

    阅读完需:约 8 分钟

大小:1.31M时长:07:37
第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

近日,天翼云联合权威科技媒体 InfoQ 举办了以“存储难题新解法,揭秘极致易用的 HBlock”为主题的线上技术分享会”。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮参与了第二期分享,以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,讲解了 HBlock 在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等方面的内容,本文将对其观点进行详细阐述。

安装部署超易用,打造企业数据存储底座


随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。


尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求,是一件非常不容易的事情。在天翼云最新发布的存储资源盘活系统 HBlock 中,我们看到了分布式存储的全新“解题思路”。


作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock 采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock 安装包只有 170MB 左右,可安装在任何主流 Linux 操作系统上,不依赖于 NTP 服务器,3 个命令行完成安装部署,3 分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。


与传统存储软硬一体的模式不同,HBlock 对底层基础设施完全解耦,可以完美适配存量异构服务器环境,解决了硬件兼容性问题,可将 X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准 iSCSI 协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全


通常,人们都认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock 用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock 基于 MPIO 的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。


针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由 HBlock 的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。


HBlock 还通过灵活的 QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock 具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。


HBlock 可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock 是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU 降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力


HBlock 的存储性能表现优异,单卷 IOPS 可达 15 万次、读写延迟 200 微秒的性能表现完全能够胜任多种业务场景的性能需求,HBlock 支持 1024 节点弹性扩展和 PB 级存储资源池。HBlock 之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。


HBlock 具有 WriteBack、WriteThrough、WriteAround 三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock 会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小 IO 操作,更好地发挥存储介质的性能。


通过与开源 Ceph 的对比测试发现,在 1MB 大 IO、三副本读写的场景下,HBlock 读带宽 300 多 MB,写带宽 350 多 MB,是 Ceph 的 2 倍以上。随机读、随机写的带宽也是 Ceph 的 1 倍以上。用 4K 小 IO 进行读写,HBlock 性能表现有更突出的优势,单线程读写场景下 HBlock 的读、写、随机写性能均为是 Ceph 的 3-5 倍。即使是在 32 个并发的场景下,HBlock 的性能也是 Ceph 的 1-2 倍。而 EC 更是 HBlock 的优势领域,用 EC2+1 模式代替三副本模式,HBlock 的性能可以达到 Ceph 的 5 倍以上,在空间使用率方面,得盘率由 33.3% 翻倍,达到 66.7%,可在提升性能的同时显著降低存储成本。

福利来了!HBlock 尝鲜活动震撼发布!


为帮助更多政企客户高效、低成本搭建软件定义存储平台,天翼云推出了 HBlock 尝鲜活动,尝鲜期内用户将有机会免费使用 HBlock。活动规则如下:


报名时间:2023.8.21-2023.10.31

用户特权:尝鲜期报名且激活授权的用户,将获得上限 1PB、1024 节点的永久免费 License,欢迎企业客户、集成商伙伴踊跃报名!

特别说明:免费尝鲜版本为 HBlock 3.4,HBlock 支持 PB 级部署,用户需自行准备硬件设备,天翼云提供 HBlock 重大缺陷修复、邮件和电话咨询服务,但不提供产品新增功能,尝鲜期内报名未激活授权或尝鲜期后报名需正常付费。



2023-09-14 14:454920

评论

发布
暂无评论
发现更多内容

Docker镜像列表中的none:none是什么

程序员欣宸

Docker 9月月更

网安超基础一周目

吉师职业混子

9月月更

追光动画《杨戬》:水墨、石窟、洛神赋,中式美感背后有中国云计算

B Impact

Vue3-无限滚动的懒加载-本地数据操作版

Sam9029

Vue 前端 懒加载 9月月更

基于微信小程序的会议室预定平台开发笔记

CC同学

设计模式和七大设计原则不难的

知识浅谈

设计模式 设计原则 9月月更

数字化办公,企业OA软件技术该如何发力?

FinClip

架构师成长之路——什么是架构师

小小怪下士

Java 程序员 架构 后端

【数据结构】利用Python手把手带你自定义矩阵

迷彩

数据结构 矩阵 矩阵运算 9月月更 自定义矩阵

开发者有话说|谈谈自己大学期间的收获,以及毕业的求职经历

芯动大师

个人成长 成长路上的思考 初心不变

PipyJS - 函数式网络编程语言

Flomesh

Service Mesh 服务网格

netty原理分析

小小怪下士

Java 编程 程序员 后端 Netty

经久不衰的设计定律是不要让我思考的设计

宇宙之一粟

读书笔记 设计 设计思维 设计原则 9月月更

Qt|制作简单的不规则窗体

中国好公民st

qt 事件 9月月更

35岁程序员自荐:我所掌握的架构技术

小小怪下士

Java 程序员 中年危机

【存疑】爬虫学习中decode问题

Sher10ck

存疑

为什么Java中有三种基础的类加载器?

小小怪下士

Java 编程 程序员 程序

Java基础科普

吉师职业混子

9月月更

成为优秀程序员的8种方法

小小怪下士

Java 程序员 职业发展

这样Debug,排查问题效率大大提升...

程序知音

英特尔Wi-Fi 7速率提升5倍,为多应用场景带来改变

科技之家

大数据调度平台Airflow(六):Airflow Operators及案例

Lansonli

airflow 9月月更

Java | extends关键字【面向对象的第二大特征——继承】

Fire_Shield

Java 9月月更 extends

Java 面试之技术框架

小小怪下士

Java spring 编程 程序员

前端面试哪些是必须要掌握的

loveX001

JavaScript 前端

从0开始的计算机之路

吉师职业混子

9月月更

【网络安全】记一次简单渗透测试实战

网络安全学海

黑客 网络安全 信息安全 渗透测试 漏洞利用

汽车总线系统

不脱发的程序猿

汽车电子 CAN总线 汽车总线系统

Lua脚本在Redis事务中的应用实践

京东科技开发者

数据库 redis 事务 开发语言 Lua脚本

Vue3-无限滚动的懒加载-模拟网络请求Mock版

Sam9029

Vue 前端 9月月更 无限滚动

长安链ca 容器部署(解决无法访问Mysql问题)

长安链

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值_云计算_InfoQ精选文章