收录了 分布式存储 频道下的 50 篇内容
由于分布式存储系统的复杂性和篇幅所限,本文仅选择有限个典型场景进行了分析和讨论, 真实的分布式存储系统远比这数个案例复杂的多、细节的多。如何平衡集群异常自动化处理和引入的复杂度,如何较好的实现流控和避免影响低延迟用户的响应时间,如何引导集群进行负载均衡和避免因负载均衡带来的过量集群资源开销,这类问题在真实的分布式存储系统设计中层出不穷。如果设计者是你,你会如何取舍呢?
谈到区块链和分布式计算,最重要的是共识算法、智能合约和一个强大、安全和去中心化的内容存储以及分发系统。本文我们将探索和评估一些最流行的分布式存储平台。
详解三种时钟方案的典型实现
CubeFS是国内首个云原生开源分布式存储产品,2019年开源并捐赠托管至云原生计算基金会(CNCF),2020年10 月OPPO开始主导CubeFS社区运营与版本迭代,累计发布7个release版本。
本次分享介绍如何利用开源分布式存储系统Alluxio 来有效的分离计算与存储。
在机器学习场景,如何利用Ceph作为统一化的分布式存储,并基于此进行的相关的优化。
来有效的分离计算与存储。首先跟听众分享开源分布式存储系统Alluxio的设计理念,以及其在大数据与AI生态系统中的位置。
现在分布式存储这一块,有块存储、对象存储、文件存储,有不同的开源项目如Ceph、GlusterFS、Sheepdog、Swift,还有不同的商业实现如Google、AWS、微软、金山、七牛、又拍、阿里云还有Qingcloud,思路或多或少都有些不同,可选的硬件种类也很多。似乎可选的东西太多了,而且各有优缺点。
继上次分享的 分布式存储系统 Ceph 架构及使用场景解析 和 分布式存储 Ceph 之 PG 状态详解 ,这次分享 cephfs 读写优化方面的知识。 用户需要从 cephfs 存储系统中检索一个大文件指定关键字的一行信息, 并且对延迟和性能要求比较高。
谈到区块链和分布式计算,最重要的是共识算法、智能合约和一个强大、安全和去中心化的内容存储以及分发系统。本文我们将探索和评估一些最流行的分布式存储平台。
作为网易数帆开源的高性能、高可用、高可靠的新一代分布式存储系统,Curve对于多副本数据同步、负载均衡、容灾恢复方面都有较高的要求。网易数帆存储团队选用Raft算法作为Curve底层一致性协议,并基于Raft的特性,实现了异常情况下的数据迁移和自动恢复。本文首先简要介绍一下Raft算法的一些基本概念和术语,再详细介绍其在Curve中的实践。
分布式存储支持多种存储引擎,根据业务需求和部署环境灵活选择,可以配置为不同的存储引擎。
RBD Mirror原理其实和MySQL的主从同步原理非常类似,前者基于journaling,后者基于binlog,简单地说就是利用日志进行回放(replay):通过在存储系统中增加Mirror组件,采用异步复制的方式,实现异地备份。
CoreOS最近发布的开源分布式存储系统Torus,这种系统在设计上可以为通过Kubernetes编排和管理的容器集群提供可靠可扩展的存储。这种技术在设计上主要针对目前运行分布式应用程序的团队所面临的一些重要的共同问题。
谈到区块链和分布式计算,最重要的是共识算法、智能合约和一个强大、安全和去中心化的内容存储以及分发系统。本文我们将探索和评估一些最流行的分布式存储平台。
Ceph是一个统一的分布式存储系统,设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区。
本文介绍“分布式流计算+ 分布式流存储”的原生流式大数据处理平台的架构理念。
对于分布式存储而言,相比文件系统形式,用定制后端实现可以做到又快又好。
Curve 由网易开源,是一款高性能、易运维、云原生的分布式存储系统,可应用于主流的云原生基础设施平台
虽然分布式存储的存储层和上传下载这一层很重要,但在元数据方面有哪些选择,这些选择有什么优缺点则更为重要。在QCon北京2015大会上,七牛云存储首席架构师李道兵结合自己多年的实践和思考,分享了关于存储设计的几大方法,并详细地分析了各自的利弊。