写点什么

存储系统设计中的二八定律

  • 2015-01-07
  • 本文字数:1144 字

    阅读完需:约 4 分钟

二八定律又名帕累托法则、不平衡原则等,它是一种不均匀分布的理论,已被广泛应用于社会学、企业管理学以及经济学中。同样,该定律也适应于计算机科学领域,如应用负载、磁盘访问、存储系统设计等也都是不均匀的随机分布。近日,存储服务初创公司 Coho Data 的联合创始人兼 CTO Andy Warfield 发表了一篇关于在存储系统设计中二八定律应用的博文。在博文中,Andy Warfield 对二八定律进行了介绍,并指出 Facebook 为大规模的应用程序而设计的存储系统也利用了这种原理。

Andy Warfield 指出他们首先对最近 11 个开发者的台式机存储数据进行了为期一年的跟踪记录,这些记录包括大概 76 亿次的 IO 操作和在 5TB 存储数据上进行的超过 28TB 传输量。Andy 通过初始容量与时间比例分析发现,这些数据很不均匀,如 11 台台式机上共存储有 5.1TB 的数据,这其中还有 627GB(大约 21%)的数据在一个月内很少被访问,3.1TB 的数据在整整一年中没有被访问, 如下图所示:

通过以上分析结果图,Andy 还得出了以下两个新观点:

首先,使用 LRU (最近最少使用算法)作为一个填充快速内存的模型能够估算来自服务(或缓存)的请求比例。另外,随着将快速存储介质添加到系统中,访问命中率也在增长。

其次,通过该图还可以计算出基于访问的标准成本,而不是基于每 GB 的存储成本。伴随着缓存的不停增加,访问命中率却在下降。要实现 100% 的命中率所花费的金钱是最初使用最小高速缓存而实现 35% 命中率所花费的 11 倍多。因此,数据访问的成本将会变得更加昂贵。

关于如何解决分布不均匀的问题,Andy 认为不应该把资金花费在提高冷数据的访问性能上,而应该将资金花费在如何提高热数据的访问性能上。

Andy 认为当前的存储领域也发生了巨大变化,固态存储已不单单有 SATA/SAS SSD、PCIe/NVMe 和 NVDIMM 三种选择,且每个选择的成本和性能都有很大的差别。因此,即使没有磁盘,存储系统仍需要混合介质,只有通过混合形式才可以实现高性能与卓越的价值。一个混合存储系统仍然需要使用磁盘,且应该把热数据存储在高性能的内存中。同样,一个全闪存阵列 AFA 可能由三个甚至更多不同类型的混合存储介质。为了最大程度地提高混合存储的性能,Andy 还研究了一个新算法

最后,Andy 还指出不均匀分布的广泛性以及正因为二八定律才使得系统设计能够服务于最受关注的事物上(如高速公路和农村公路、核心互联网路由器、中心城市交通运输系统等的设计),并提供高性能的服务。对于存储系统的设计也不例外,构建存储系统尤其需要细心地对工作负载进行响应式分析,以确定存储规模并满足实际应用的需要。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-01-07 03:385407
用户头像

发布了 92 篇内容, 共 50.2 次阅读, 收获喜欢 5 次。

关注

评论

发布
暂无评论
发现更多内容

Path Finder for Mac(强大的文件管理工具) v2176中文激活版

Rose

LeetCode:240. 搜索二维矩阵 II,二分查找,详细注释

Lee Chen

百度智能云x️石家庄交管局,大模型打造全时在线数字交警

百度Geek说

公立医院电子病历分级评价启动!契约锁率先发布电子签章评分方案

数字工具研究

LED显示器的特点与价格分析

Dylan

互联网系统特点 LED display LED显示屏 舞台表演

FotoMagico for Mac(专业幻灯片制作软件)v6.7.2激活版

Rose

“量体裁衣”破局转型难题!广域铭岛助力智转数改跑出加速度

极客天地

物资堆积如山,管理混乱?这些问题你还在忍受吗?

天津汇柏科技有限公司

低代码开发 软件定制开发 AI人工智能

GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略

GPUStack

AI 大模型 生成式AI LLM GPU集群

GPUStack 0.2:开箱即用的分布式推理、CPU推理和调度策略

SEAL安全

AI 大模型 生成式AI LLM GPU集群

堡垒机价值主要体现在哪里?可以说说吗?

行云管家

网络安全 堡垒机 IT运维

功能强大的矢量绘图软件 EazyDraw for Mac v11.8.2中文版

Rose

Caffeinated for Mac(系统防睡眠工具) v2.0.7激活版

Rose

苹果电脑数据库管理工具 Valentina Studio Pro for Mac v14.5激活版

Rose

联想正式在印度生产AI服务器!致力于在印度开发世界“尖端”技术真的能实现吗?|AI日报

可信AI进展

为明天做好准备,摆脱传统财务规划的不足

智达方通

企业管理 企业战略 全面预算管理 全面预算管理系统 财务规划

搭建 CNode 技术社区智能体

灵快科技

node.js 开源 AI AI 智能体

鸿蒙应用生态构建的核心目标

芯盾时代

鸿蒙

黄石等保测评机构有哪些?在哪里?

行云管家

等保 黄石

存储系统设计中的二八定律_语言 & 开发_李士窑_InfoQ精选文章