10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

数据规模

收录了 数据规模 频道下的 50 篇内容

规模化时间序列数据存储 Part1

Netflix使用会员的视频观看记录实时准确地记录用户的观看情况,并为会员提供个性化推荐。Netflix的发展,对视频观看记录时序数据存储的规模化提出了挑战,原有的单表存储架构无法适应会员的大规模增长。本文介绍了Netflix团队在规模化时序存储中的做法,包括数据存储方式的改进,以及在存储架构中添加缓存层。存储架构在Netflix的实际应用验证了该时序数据存储的有效性。

数据规模超 1PB ,揭秘网易游戏规模化 TiDB SaaS 服务建设实践
数据规模超 1PB ,揭秘网易游戏规模化 TiDB SaaS 服务建设实践

TiDB在网易游戏的技术实践。

从“大数据”到“小数据”,“隐语”开源SCQL助力不同规模数据安全分析
从“大数据”到“小数据”,“隐语”开源 SCQL 助力不同规模数据安全分析

在数据要素战略持续升级的背景下,发展以隐私计算为代表的密态技术,是解决大规模数据安全可信流转的技术手段。

基于动态知识图谱的大规模数据集成技术
基于动态知识图谱的大规模数据集成技术

本文介绍百分点认知智能实验室出品的基于动态知识图谱的大规模数据集成技术。

百度大规模时序数据存储(二)| 存储选型及数据模型设计
百度大规模时序数据存储(二)| 存储选型及数据模型设计

本篇将介绍 TSDB 在方案选型和存储模型设计上的实践。

大规模数据处理初体验:怎样实现大型电商热销榜?
大规模数据处理初体验:怎样实现大型电商热销榜?

今天我们就以大型电商热销榜为例,来谈一谈从 1 万用户到 1 亿用户,从 GB 数据到 PB 数据系统,技术思维需要怎样的转型升级?

EB 级大规模存储的数据面设计与思考
EB 级大规模存储的数据面设计与思考

全文总共分为三个部分,第一部分对大规模数据存储进行概述;第二部分以百度网盘为例介绍百度沧海如何支撑 EB 级大规模存储;第三部分享一些相关的经验与思考。

百度大规模时序数据存储(三)| 核心功能设计
百度大规模时序数据存储(三)| 核心功能设计

本文将着重介绍在 TSDB 中起了重要作用的两个核心功能的设计。

知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计
知乎首页已读数据万亿规模下高吞吐低时延查询系统架构设计

本次分享介绍目前知乎已读服务的整体架构以及如何在这个架构上应对各种挑战满足业务需求。

etcd在超大规模数据场景下的性能优化
etcd 在超大规模数据场景下的性能优化

本篇文章首先介绍etcd优化的背景,为什么要进行优化, 之后介绍 etcd 内部存储系统的工作方式,之后介绍本次具体的实现方式及最后的优化效果。

在数据规模重压、多维度查询需求之下,支付平台的迁移之旅
在数据规模重压、多维度查询需求之下,支付平台的迁移之旅

MySQL的问题:之前的一次二次扩容的经历

金融级分布式数据库打造!TDSQL在微众银行的大规模实践
金融级分布式数据库打造!TDSQL 在微众银行的大规模实践

微众银行在2014年成立之时,就非常有前瞻性的确立了分布式架构的基础架构。当时,腾讯有一款金融级的分布式数据库产品TDSQL,其业务场景和对数据库的可靠性要求,和银行场景非常类似。

云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升
云原生时代的架构革新,Apache Doris 存算分离如何实现弹性与性能双重提升

Apache Doris 3.0 正式支持了存算分离全新模式。

万亿数据规模下,火山引擎ByteHouse助力银行日志数据高效分析
万亿数据规模下,火山引擎 ByteHouse 助力银行日志数据高效分析

ByteHouse将持续为银行等金融领域提供高性能、高可用的分析服务,助推数据价值进一步释放。

数据库
云原生
Clickhouse
数仓
AWS 数据底座S3,万亿数据规模下是如何做到数据“强一致性”的
AWS 数据底座 S3,万亿数据规模下是如何做到数据“强一致性”的

AWS S3 是如何在万亿数据规模,每秒千万次请求下,既要保证可用性(99.99%),持久性(11个9)的前提下,同时做到数据强一致性的呢?让我们一探究竟。

云计算
AWS
aws s3
业内首推“共享存储”,OceanBase何以办到?
业内首推“共享存储”,OceanBase 何以办到?

面对行业变革,总要有人先吃螃蟹。

ClickHouse发起十亿JSON文档挑战,性能完胜MongoDB、PostgreSQL、ES和DuckDB等数据库
ClickHouse 发起十亿 JSON 文档挑战,性能完胜 MongoDB、PostgreSQL、ES 和 DuckDB 等数据库

在本文中,我们将 ClickHouse 的 JSON 实现与其他支持 JSON 的数据存储方案进行对比,测试结果可能会让你大吃一惊。

扩展可观测性平台至 100 PB:通过拥抱宽事件并替换 OTel 实现突破
扩展可观测性平台至 100 PB:通过拥抱宽事件并替换 OTel 实现突破

越来越多的团队正在将 ClickHouse 用于可观测性场景,并惊喜地发现可以以极低的成本存储和查询海量数据。

作业帮基础观测能力之二全链路追踪实践
作业帮基础观测能力之二全链路追踪实践

截至目前,作业帮已有 97%+ 的服务完成了容器化改造,统一采用了基础架构提供的服务网格及各种基础组件。

2025 的企业 AI 市场, Data &AI 占据主流视野
2025 的企业 AI 市场, Data &AI 占据主流视野

GenAI 市场的热词,不止有 AI Agent

数据规模专题_资料-InfoQ中文网