AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

天翼云

  • 2023-09-14
    北京
  • 本文字数:2356 字

    阅读完需:约 8 分钟

大小:1.31M时长:07:37
第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值

近日,天翼云联合权威科技媒体 InfoQ 举办了以“存储难题新解法,揭秘极致易用的 HBlock”为主题的线上技术分享会”。天翼云国际业务事业部研发专家武志民与存储产品线总监魏玮参与了第二期分享,以“天翼云存储资源盘活系统 HBlock,深挖独创技术亮点与实战演练”为主题,讲解了 HBlock 在安装部署、数据可靠性和安全性保障、混沌测试与性能分析等方面的内容,本文将对其观点进行详细阐述。

安装部署超易用,打造企业数据存储底座


随着数字经济的蓬勃发展,数据作为核心生产要素,已成为数字经济发展的重要基石。与此同时,数据规模持续爆炸性增长,数据类型不断丰富,企业对数据处理与分析速度要求越来越高,带来了一系列存储的新挑战。


尽管市场上的分布式存储产品和解决方案层出不穷,但如何提高企业存储资源利用率,同时满足安全可靠、高性能、方便易用、降本增效等需求,是一件非常不容易的事情。在天翼云最新发布的存储资源盘活系统 HBlock 中,我们看到了分布式存储的全新“解题思路”。


作为天翼云自主研发的业内第一款全用户态的软件定义存储产品,HBlock 采用极简设计模式,相比于传统存储存在建设周期长、安装部署复杂、扩容难等问题,HBlock 安装包只有 170MB 左右,可安装在任何主流 Linux 操作系统上,不依赖于 NTP 服务器,3 个命令行完成安装部署,3 分钟即可建立数据中心级别集群,大幅降低安装部署门槛,同时可以按需扩容,为用户带来极佳的使用体验。


与传统存储软硬一体的模式不同,HBlock 对底层基础设施完全解耦,可以完美适配存量异构服务器环境,解决了硬件兼容性问题,可将 X86、ARM、龙芯等不同架构服务器上的存储资源进行统一管理,转换成高性能的虚拟存储阵列,通过标准 iSCSI 协议提供分布式块存储服务。

高可用技术架构,保障企业数据安全


通常,人们都认为传统集中式存储的软硬件结合模式才具有极高的可用性,HBlock 用出色的技术架构在纯软件上实现了令人刮目相看的高可用性。HBlock 基于 MPIO 的“一主多备”方案,故障场景下支持数据链路自动切换,集群中所有服务都采用冗余模式部署,数据处理过程不依赖任何时钟服务器,使用天翼云自研的分布式租约和心跳机制进行主备切换,从发生故障到故障发现,再到完成服务接管,整个过程几秒内就能完成。在切换过程中,分布式多控制器保证了两个缓存之间的数据是强一致的,确保数据不丢失。


针对不同容量、不同性能表现、不同负载的节点及磁盘组成的集群,数据应当如何分布,由 HBlock 的多因子权重算法来决定:针对空间总量、使用量、使用率的空间因子;针对读写并发数、内存、磁盘负载的负载因子;针对时延、带宽的网络因子。三种因子通过综合计算得出总体权重,用来确定数据存放的节点或磁盘,充分发挥各个部件的性能,同时可避免性能差、负载高的节点及磁盘成为性能瓶颈。


HBlock 还通过灵活的 QoS(Quality of Service,服务质量)特性来保障读写的服务质量。在空间和内存紧张时,会触发一个平滑的降速,同时在管理侧通过告警、系统事件、发邮件等方式通知管理员人为干预,这样可以避免存储资源耗尽导致业务突然中断的问题。HBlock 具有读写分离控制的机制,对于不同的资源,降速的请求是不一样的,空间紧张时降低写速度,内存紧张时同时降低读写速度。扩容后,由多因子权重算法决策平衡方案,负载向新节点倾斜,可灵活配置业务优先或数据恢复优先策略,满足不同需求场景。


HBlock 可以设置节点或磁盘级别的故障域,每个存储卷都可以选择纠删码或副本等不同的冗余方式。可以检测数据静默错误,保障数据完整性。另外,HBlock 是面向混沌环境的设计的,在各种弱电(电源不稳定、时钟抖动、CPU 降速)、弱盘(老化降速、读写失败)、弱网(网卡降速、丢包、错包)等情况下,通过分布式租约、实时感知故障、多因子空间分配、坏盘后快速重构等技术手段确保数据不丢。

高性能实战表现,激活企业数据潜力


HBlock 的存储性能表现优异,单卷 IOPS 可达 15 万次、读写延迟 200 微秒的性能表现完全能够胜任多种业务场景的性能需求,HBlock 支持 1024 节点弹性扩展和 PB 级存储资源池。HBlock 之所有具有如此出色的性能,要归功于领先的分布式多控制器架构和智能调度算法,通过多模式写缓存与读缓存的设计来实现高性能。


HBlock 具有 WriteBack、WriteThrough、WriteAround 三种写缓存模式,可以根据不同场景的读写需求来动态调整;同时,HBlock 会根据网络距离和节点负载选择最合适的节点,将数据放在缓存中,避免对磁盘频繁的小 IO 操作,更好地发挥存储介质的性能。


通过与开源 Ceph 的对比测试发现,在 1MB 大 IO、三副本读写的场景下,HBlock 读带宽 300 多 MB,写带宽 350 多 MB,是 Ceph 的 2 倍以上。随机读、随机写的带宽也是 Ceph 的 1 倍以上。用 4K 小 IO 进行读写,HBlock 性能表现有更突出的优势,单线程读写场景下 HBlock 的读、写、随机写性能均为是 Ceph 的 3-5 倍。即使是在 32 个并发的场景下,HBlock 的性能也是 Ceph 的 1-2 倍。而 EC 更是 HBlock 的优势领域,用 EC2+1 模式代替三副本模式,HBlock 的性能可以达到 Ceph 的 5 倍以上,在空间使用率方面,得盘率由 33.3% 翻倍,达到 66.7%,可在提升性能的同时显著降低存储成本。

福利来了!HBlock 尝鲜活动震撼发布!


为帮助更多政企客户高效、低成本搭建软件定义存储平台,天翼云推出了 HBlock 尝鲜活动,尝鲜期内用户将有机会免费使用 HBlock。活动规则如下:


报名时间:2023.8.21-2023.10.31

用户特权:尝鲜期报名且激活授权的用户,将获得上限 1PB、1024 节点的永久免费 License,欢迎企业客户、集成商伙伴踊跃报名!

特别说明:免费尝鲜版本为 HBlock 3.4,HBlock 支持 PB 级部署,用户需自行准备硬件设备,天翼云提供 HBlock 重大缺陷修复、邮件和电话咨询服务,但不提供产品新增功能,尝鲜期内报名未激活授权或尝鲜期后报名需正常付费。



2023-09-14 14:454647

评论

发布
暂无评论
发现更多内容

什么是网络安全?网络安全威胁存在哪些?

喀拉峻

网络安全

聊聊今天 log4j 的大瓜

Justin

漏洞 闲聊 28天写作

团队基建系列 - 组织知识传承 5 底层逻辑

搬砖的周狮傅

团队 团队成长

数据库大赛50强之「华东师范大学」:恰同学少年,代码激扬!

OceanBase 数据库

数据库 学习 开源 oceanbase

.NET内存管理必备知识

喵叔

28天写作 12月日更

解决:standard_init_linux.go:219: exec user process caused

liuzhen007

28天写作 12月日更

Hoo虎符研究院 | 币海寻珠——2021年区块链投融大事记

区块链前沿News

区块链 虎符 Hoo虎符 Hoo 虎符交易所

我们一起,盘点 2021 十大技术领域的全部精彩

InfoQ写作社区官方

大数据 云原生 编程语言 话题讨论 2021年度技术盘点与展望

「如何从0到1实现一个基于vite的前端基础库👾」

速冻鱼

前端 Node 签约计划第二季 12月日更

Prometheus Exporter (二十二)Infiniband Exporter

耳东@Erdong

Prometheus 28天写作 exporter 12月日更 Infiniband

40 K8S之Calico网络插件

穿过生命散发芬芳

k8s 28天写作 12月日更

Helm 快速入门

xcbeyond

Helm 28天写作 12月日更

JavaScript 中8 个最佳电子邮件库

devpoint

JavaScript nodejs 12月日更 email pop3

Volatile 原理(二)

悟空聊架构

volatile 28天写作 可见性 悟空聊架构 12月日更

当诗人遇到熟读2600亿中文参数的大模型

白洞计划

中小型研发团队的一种考核思路

wood

团队管理 28天写作 研发考核

zookeeper的数据同步是如何完成的?

卢卡多多

zookeeper 28天写作 12月日更

hmily学习笔记

风翱

12月日更 Hmily

iKuai与DNSPod合作,搞了一个大动作!

网络安全 DNS DNS劫持

记录-最骄傲的事(3)

将军-技术演讲力教练

你不得不掌握的前端提交规范(git cz)

你好bk

JavaScript 前端 代码注释 代码规范 12月日更

[Pulsar] Batch message的确认

Zike Yang

Apache Pulsar 12月日更

Spring AOP(二) 修饰者模式和JDK Proxy

程序员历小冰

spring Java、 28天写作 spring aop 12月日更

Eureka基础

李子捌

微服务 28天写作 12月日更

在线将JS/JavaScript-Object转JSON工具

入门小站

工具

睁眼、耸肩、觉醒:人形机器人的吊诡与最终幻想

脑极体

架构实战营第 4 期 -- 模块二作业

烈火干柴烛灭田边残月

架构实战营

盘点2021:一年读完的50本书

石云升

书单 年终总结 28天写作 12月日更 盘点2021

9.《重学 JAVA》-- 控制语句(一)

杨鹏Geek

Java 25 周年 28天写作 12月日更

想象与实践的过程

Nydia

设计电商秒杀系统

Rabbit

第二期观点|天翼云存储资源盘活系统 HBlock,全面释放企业数据价值_云计算_InfoQ精选文章