写点什么

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

天翼云

  • 2023-09-14
    北京
  • 本文字数:2356 字

    阅读完需:约 8 分钟

大小:1.31M时长:07:37
第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

近日,天翼云联合权威科技媒体 InfoQ 举办了以“存储难题新解法,揭秘极致易用的 HBlock”为主题的线上技术分享会”。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮参与了第二期分享,以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,讲解了 HBlock 在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等方面的内容,本文将对其观点进行详细阐述。

安装部署超易用,打造企业数据存储底座


随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。


尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求,是一件非常不容易的事情。在天翼云最新发布的存储资源盘活系统 HBlock 中,我们看到了分布式存储的全新“解题思路”。


作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock 采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock 安装包只有 170MB 左右,可安装在任何主流 Linux 操作系统上,不依赖于 NTP 服务器,3 个命令行完成安装部署,3 分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。


与传统存储软硬一体的模式不同,HBlock 对底层基础设施完全解耦,可以完美适配存量异构服务器环境,解决了硬件兼容性问题,可将 X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准 iSCSI 协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全


通常,人们都认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock 用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock 基于 MPIO 的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。


针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由 HBlock 的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。


HBlock 还通过灵活的 QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock 具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。


HBlock 可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock 是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU 降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力


HBlock 的存储性能表现优异,单卷 IOPS 可达 15 万次、读写延迟 200 微秒的性能表现完全能够胜任多种业务场景的性能需求,HBlock 支持 1024 节点弹性扩展和 PB 级存储资源池。HBlock 之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。


HBlock 具有 WriteBack、WriteThrough、WriteAround 三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock 会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小 IO 操作,更好地发挥存储介质的性能。


通过与开源 Ceph 的对比测试发现,在 1MB 大 IO、三副本读写的场景下,HBlock 读带宽 300 多 MB,写带宽 350 多 MB,是 Ceph 的 2 倍以上。随机读、随机写的带宽也是 Ceph 的 1 倍以上。用 4K 小 IO 进行读写,HBlock 性能表现有更突出的优势,单线程读写场景下 HBlock 的读、写、随机写性能均为是 Ceph 的 3-5 倍。即使是在 32 个并发的场景下,HBlock 的性能也是 Ceph 的 1-2 倍。而 EC 更是 HBlock 的优势领域,用 EC2+1 模式代替三副本模式,HBlock 的性能可以达到 Ceph 的 5 倍以上,在空间使用率方面,得盘率由 33.3% 翻倍,达到 66.7%,可在提升性能的同时显著降低存储成本。

福利来了!HBlock 尝鲜活动震撼发布!


为帮助更多政企客户高效、低成本搭建软件定义存储平台,天翼云推出了 HBlock 尝鲜活动,尝鲜期内用户将有机会免费使用 HBlock。活动规则如下:


报名时间:2023.8.21-2023.10.31

用户特权:尝鲜期报名且激活授权的用户,将获得上限 1PB、1024 节点的永久免费 License,欢迎企业客户、集成商伙伴踊跃报名!

特别说明:免费尝鲜版本为 HBlock 3.4,HBlock 支持 PB 级部署,用户需自行准备硬件设备,天翼云提供 HBlock 重大缺陷修复、邮件和电话咨询服务,但不提供产品新增功能,尝鲜期内报名未激活授权或尝鲜期后报名需正常付费。



2023-09-14 14:454451

评论

发布
暂无评论
发现更多内容

AI近十年盘点:纵览AI发展历程,探寻AI未来走向

Baihai IDP

人工智能 深度学习 白海科技 AI十年盘点

ABAQUS 在车辆驻车制动系统中的应用

思茂信息

abaqus abaqus软件 abaqus有限元仿真 有限元仿真技术

堡垒机价格都是按年算吗?大概多少钱?

行云管家

网络安全 堡垒机 运维审计 堡垒机价格

无痛调度!使用Helm在Kubernetes上一键搭建Prometheus Operator监控

不在线第一只蜗牛

教程分享 K8s 多集群管理

【AI】浅谈使用正则化防止过拟合(下)

sidiot

人工智能 正则化 6 月 优质更文活动

飞桨携手登临解读软硬一体技术优势,共推AI产业应用落地

飞桨PaddlePaddle

人工智能 百度 飞桨

Vue3中常用的Composition(组合)API-shallowReavtive和shallowRef

不觉心动

6 月 优质更文活动

揭秘虚拟人技术:独家解析让你彻底领悟其原理!

EquatorCoco

人工智能 AI 数字人 虚拟人

如何在金融企业推进故障演练?中国人寿分阶段实践总结

TakinTalks稳定性社区

CVPR首个大模型研讨会顺利召开,吸引超1000支队伍参与文心大模型国际比赛

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨

对线面试官-Redis(缓存的三大问题)

派大星

Java 面试题

Vue3中常用的Composition(组合)API-set的两个注意点

不觉心动

6 月 优质更文活动

Vue3中常用的Composition(组合)API-自定义hook函数

不觉心动

6 月 优质更文活动

Vue3中常用的Composition(组合)API-toRef API和toRefs API

不觉心动

6 月 优质更文活动

炫酷教程:用全代码编写WPF程序,轻松掌握.NET深呼吸技巧!

EquatorCoco

.net 开源WPF项目

AIGC时代,基于云原生 MLOps 构建属于你的大模型(下)

York

机器学习 云原生 大模型 MLOps AIGC

Vue3中常用的Composition(组合)API-watchEffect()函数

不觉心动

6 月 优质更文活动

Vue3中常用的Composition(组合)API-readonly 与 shallowReadonly

不觉心动

6 月 优质更文活动

Apache RocketMQ EventBridge:构建下一代事件驱动引擎

阿里巴巴云原生

Apache 阿里云 云原生 EventBridge

保护数据隐私:深入探索Golang中的SM4加密解密算法

王中阳Go

Go 高效工作 学习方法 6 月 优质更文活动

HDC华为开发者大会-开发者社区活动

华为云PaaS服务小智

云计算 华为 华为云 华为开发者大会2023

四大因素解析:常规阻抗控制为什么只能是10%?

华秋电子

Vue3中常用的Composition(组合)API-toRaw 与 markRaw

不觉心动

6 月 优质更文活动

“事后达尔文”—— 游戏业务效果评估方法实践

vivo互联网技术

效果评估 分层抽样 事后达尔文

深度Q网络:DQN项目实战CartPole-v0

华为云开发者联盟

人工智能 华为云 华为云开发者联盟 企业号 6 月 PK 榜

聚力领航,2023 开放原子全球开源峰会燃爆夏日开源热

开放原子开源基金会

警惕度量指标陷阱

BY林子

度量 绩效考核 质量度量

PCB板表面如何处理提高可靠性设计?

华秋电子

月近万次发布,故障率<4‰如何做到?去哪儿测试左移重难点揭秘!

TakinTalks稳定性社区

Ionic用于构建跨平台移动应用程序的开源框架

没有用户名丶

大连正规等保测评机构有3家还是4家?叫什么名字?

行云管家

等保 等级保护 等保测评 大连

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值_云计算_InfoQ精选文章