收录了 数据存储 频道下的 50 篇内容
在AWS这么多的数据存储选项中,应该如何选择?在这分成三部分的博客系列中,我将试图对这些常见问题做一些澄清。在第一部分,我会论述高可用性的基础,以及为什么冗余是实现高可用性的常用方法。我也简要地提到在数据层加入冗余会带来新的问题。在第二部分,我会讨论这其中的一些问题,以及在克服这些问题时你需要考虑的取舍。第三部分在这些信息的基础上,论述AWS特定的数据存储选项,以及每个存储选项的优化所针对的是哪些工作负载。在你读完本博客系列的全部三部分之后,你就会赞同AWS提供了丰富的数据存储产品,并学会针对正确的工作负载选择正确的数据存储产品。
本文介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。
本文将介绍 TSDB 在监控场景下的应用以及系统设计面临的技术挑战。
本文将着重介绍在 TSDB 中起了重要作用的两个核心功能的设计。
本文主要介绍了京东高可用分布式流数据存储系统的架构,内容涵盖流数据存储集群的高可用架构设计,改进于 Raft 的流数据选举和复制机制和理解数据流的特性和针对性性能优化手段等内容。
近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的数据量,加之随着物联网的发力,产生的增量数据将不可预估,存储和查询增量数据尤为关键。
MetaModel(一个Apache孵化器项目)是一个Java类库,你可以用它以统一编程方式浏览、查询和更新各类数据存储(包括传统的SQL数据库存储,非常规的CSV或Excel存储,或者现在很流行的NoSQL存储)。
Netflix使用会员的视频观看记录实时准确地记录用户的观看情况,并为会员提供个性化推荐。Netflix的发展,对视频观看记录时序数据存储的规模化提出了挑战,原有的单表存储架构无法适应会员的大规模增长。本文介绍了Netflix团队在规模化时序存储中的做法,包括数据存储方式的改进,以及在存储架构中添加缓存层。存储架构在Netflix的实际应用验证了该时序数据存储的有效性。
Dropbox发布了Datastoure API,提供了访问键值的功能,并支持在使用Dropbox用户的设备之间进行同步和自动解决冲突。
物联网领域近期如火如荼,互联网和传统公司争相布局物联网。作为物联网领域数据存储的首选,时序数据库也越来越多进入人们的视野,而早在2016年7月,百度云在其天工物联网平台上发布了国内首个多租户的分布式时序数据库产品TSDB,成为支持其发展制造,交通,能源,智慧城市等产业领域的核心产品,同时也成为百度战略发展产业物联网的标志性事件。 前文提到低成本的存储是时序数据库需要解决的一个主要问题,而上一篇文章介绍了通过针对时序数据的压缩方法,从利用数据本身特征的方面,降低时序数据的存储成本。 本文将介绍通过对数据进行分级存储,从使用不同存储介质,以及减少数据的副本数的方面,介绍如何在保证时序数据的查询性能的前提下,降低时序数据的存储成本。
Netflix如何为下一个演进阶段重新构建架构?
本文主要介绍AWS如何与NetApp结合,在企业内部IT环境和公有云的EDA混合架构的场景下,提供高性能、高安全和可扩展的企业级统一数据存储,帮助客户更快更好的进行研发,随时随地从云上和云下的数据中发掘更多价值。
这篇文章将从技术架构、功能特性、使用场景等多个方面来解析HDFS和JuiceFS 的异同。
本次分享介绍京东高可用分布式流数据存储系统的架构。
本篇将介绍 TSDB 在方案选型和存储模型设计上的实践。
随着人工智能, IoT 等技术的推广普及,智能监控,智能制造等新兴领域蓬勃发展,涌现出了越来越多的海量非结构化数据存储需求。
Netflix 已经拥有了超过 83000000 名遍布全球的会员,他们使用着数千个多样的微服务。这些服务由多个团队分别负责,每个服务有自己的构建和发布周期,服务产生的复杂多样的数据被存储在不同类型的数据存储系统中。云数据工程团队负责管理数据存储系统,他们通过运行基准测试来验证这些系统的更新、进行容量规划,还会在不同的失败场景下和多种工作负载下测试我们的云实例。我们希望有这样一个工具,它可以评估和比较在市场上或开源领域出现的新的数据存储系统的性能特征和缺陷,可以预估它们是否可以用在相关的产品中。有了以上需求,创作了 Netflix Data Benchmark,一个用于各种数据存储系统的可插拔云端基准测试工具。NDBench 为我们使用的各种主要的数据存储系统提供了插件支持,包括 Cassandra、Dynomite和 Elasticsearch。它也可以被扩展连接其他客户端的 API。
键值对形式的数据模型,是数据库中最简单的非基本数据类型之一,也是构建更复杂数据模型的基础。针对非关系型数据库(特别是键值类数据库)的使用,InfoQ就数据管理过程中的数据建模理念和最佳实践,对Basho团队的Casey Rosenthal进行了采访。
本次分享介绍融云研发的高性能消息存储服务(内部代号RCTSDB),并使用全新设计的数据存储引擎。
华为存储阐述了全场景闪存化、新兴业务驱动、面向数据中心的产品组合创新、绿色低碳等数据存储四大创新方向。