现场实操破解开发瓶颈,「2023 百度云智大会·智算大会 开发者沙龙」不容错过! 了解详情
写点什么

数据存储

收录了 数据存储 频道下的 50 篇内容

数据中台之结构化大数据存储设计
数据中台之结构化大数据存储设计

本文介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。

万亿级日志与行为数据存储查询技术剖析

近些年,大数据背后的价值也开始得到关注和重视,越来越多的企业开始保存和分析数据,希望从中挖掘大数据的价值。大数据产生的根本还是增量数据,单纯的用户数据不足以构成大数据,然而用户的行为或行为相关的日志的数据量,加之随着物联网的发力,产生的增量数据将不可预估,存储和查询增量数据尤为关键。

独家解读!京东高可用分布式流数据存储的架构设计
独家解读!京东高可用分布式流数据存储的架构设计

本文主要介绍了京东高可用分布式流数据存储系统的架构,内容涵盖流数据存储集群的高可用架构设计,改进于 Raft 的流数据选举和复制机制和理解数据流的特性和针对性性能优化手段等内容。

MetaModel——跨多种数据存储提供统一的数据访问

MetaModel(一个Apache孵化器项目)是一个Java类库,你可以用它以统一编程方式浏览、查询和更新各类数据存储(包括传统的SQL数据库存储,非常规的CSV或Excel存储,或者现在很流行的NoSQL存储)。

规模化时间序列数据存储 Part1

Netflix使用会员的视频观看记录实时准确地记录用户的观看情况,并为会员提供个性化推荐。Netflix的发展,对视频观看记录时序数据存储的规模化提出了挑战,原有的单表存储架构无法适应会员的大规模增长。本文介绍了Netflix团队在规模化时序存储中的做法,包括数据存储方式的改进,以及在存储架构中添加缓存层。存储架构在Netflix的实际应用验证了该时序数据存储的有效性。

讲给普通人听的分布式数据存储

在AWS这么多的数据存储选项中,应该如何选择?在这分成三部分的博客系列中,我将试图对这些常见问题做一些澄清。在第一部分,我会论述高可用性的基础,以及为什么冗余是实现高可用性的常用方法。我也简要地提到在数据层加入冗余会带来新的问题。在第二部分,我会讨论这其中的一些问题,以及在克服这些问题时你需要考虑的取舍。第三部分在这些信息的基础上,论述AWS特定的数据存储选项,以及每个存储选项的优化所针对的是哪些工作负载。在你读完本博客系列的全部三部分之后,你就会赞同AWS提供了丰富的数据存储产品,并学会针对正确的工作负载选择正确的数据存储产品。

Netflix如何设计一个能满足5倍增长量的时序数据存储新架构?
Netflix 如何设计一个能满足 5 倍增长量的时序数据存储新架构?

Netflix如何为下一个演进阶段重新构建架构?

Netflix Data Benchmark:云数据存储基准测试

Netflix 已经拥有了超过 83000000 名遍布全球的会员,他们使用着数千个多样的微服务。这些服务由多个团队分别负责,每个服务有自己的构建和发布周期,服务产生的复杂多样的数据被存储在不同类型的数据存储系统中。云数据工程团队负责管理数据存储系统,他们通过运行基准测试来验证这些系统的更新、进行容量规划,还会在不同的失败场景下和多种工作负载下测试我们的云实例。我们希望有这样一个工具,它可以评估和比较在市场上或开源领域出现的新的数据存储系统的性能特征和缺陷,可以预估它们是否可以用在相关的产品中。有了以上需求,创作了 Netflix Data Benchmark,一个用于各种数据存储系统的可插拔云端基准测试工具。NDBench 为我们使用的各种主要的数据存储系统提供了插件支持,包括 Cassandra、Dynomite和 Elasticsearch。它也可以被扩展连接其他客户端的 API。

海量非结构化数据存储中的小对象合并技术
海量非结构化数据存储中的小对象合并技术

随着人工智能, IoT 等技术的推广普及,智能监控,智能制造等新兴领域蓬勃发展,涌现出了越来越多的海量非结构化数据存储需求。

借助 NetApp CVO 实现 EDA 混合架构下的统一数据存储
借助 NetApp CVO 实现 EDA 混合架构下的统一数据存储

本文主要介绍AWS如何与NetApp结合,在企业内部IT环境和公有云的EDA混合架构的场景下,提供高性能、高安全和可扩展的企业级统一数据存储,帮助客户更快更好的进行研发,随时随地从云上和云下的数据中发掘更多价值。

高可用分布式流数据存储设计
高可用分布式流数据存储设计

本次分享介绍京东高可用分布式流数据存储系统的架构。

Dropbox 通过数据存储 API 支持结构化数据

Dropbox发布了Datastoure API,提供了访问键值的功能,并支持在使用Dropbox用户的设备之间进行同步和自动解决冲突。  

高性能消息数据存储引擎的设计解析
高性能消息数据存储引擎的设计解析

本次分享介绍融云研发的高性能消息存储服务(内部代号RCTSDB),并使用全新设计的数据存储引擎。

淘宝开源 Key/Value 结构数据存储系统 Tair 技术剖析

Tair是由淘宝网自主开发的Key/Value结构数据存储系统,在淘宝网有着大规模的应用。您在登录淘宝、查看商品详情页面或者在淘江湖和好友“捣浆糊”的时候,都在直接或间接地和Tair交互。Tair于2010年6月30号在淘宝开源平台上正式对外开源,本文较详细地介绍了Tair提供的功能及其实现的细节,希望对大家进一步了解Tair有所帮助。

百度大规模时序数据存储(二)| 存储选型及数据模型设计
百度大规模时序数据存储(二)| 存储选型及数据模型设计

本篇将介绍 TSDB 在方案选型和存储模型设计上的实践。

华为阐述关于数据存储的四大创新方向
华为阐述关于数据存储的四大创新方向

华为存储阐述了全场景闪存化、新兴业务驱动、面向数据中心的产品组合创新、绿色低碳等数据存储四大创新方向。

云上大数据存储:探究 JuiceFS 与 HDFS 的异同
云上大数据存储:探究 JuiceFS 与 HDFS 的异同

这篇文章将从技术架构、功能特性、使用场景等多个方面来解析HDFS和JuiceFS 的异同。

Amazon为 ElastiCache for Redis推出新特性: 全局数据存储
Amazon 为 ElastiCache for Redis 推出新特性: 全局数据存储

Amazon发布了全局数据存储,这是Amazon ElastiCache for Redis的一个新特性,提供全托管、快速、可靠、安全的跨区域复制。

如何彻底解决数据存储同步难题?Netflix推出数据同步和增强平台Delta
如何彻底解决数据存储同步难题?Netflix 推出数据同步和增强平台 Delta

通常,在使用多个数据存储时,其中一个用作主存储,其他用作次存储。现在的挑战是如何保持这些数据存储的同步。

Casey Rosenthal 访谈: 使用键值类 NoSQL 数据存储时的数据建模

键值对形式的数据模型,是数据库中最简单的非基本数据类型之一,也是构建更复杂数据模型的基础。针对非关系型数据库(特别是键值类数据库)的使用,InfoQ就数据管理过程中的数据建模理念和最佳实践,对Basho团队的Casey Rosenthal进行了采访。

数据存储专题_资料-InfoQ中文网