现场实操破解开发瓶颈,「2023 百度云智大会·智算大会 开发者沙龙」不容错过! 了解详情
写点什么

数据架构和存储技术

收录了 数据架构和存储技术 频道下的 50 篇内容

数据中台之结构化大数据存储设计
数据中台之结构化大数据存储设计

本文介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。

Lambda plus: 云上大数据解决方案
Lambda plus: 云上大数据解决方案

本文简述大数据分析的技术挑战,数据架构模式,实现更优的通用大数据架构模式,及可以涵盖的典型数据处理场景。

数据湖与数据仓库的新未来:阿里提出湖仓一体架构
数据湖与数据仓库的新未来:阿里提出湖仓一体架构

近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。

如何打造可以无限扩展的分布式消息队列?
如何打造可以无限扩展的分布式消息队列?

Apache Pulsar 是云原生的分布式消息流系统,采用了计算和存储分层的架构和以 Segment 为中心的分片存储,因此 Apache Pulsar 具有更好的性能、可扩展性和灵活性,是一款可以无限扩展的分布式消息队列。

大数据架构如何做到流批一体?
大数据架构如何做到流批一体?

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

QCon全球软件开发大会(广州站)即将落地,与你探索数据架构的最佳实践
QCon 全球软件开发大会(广州站)即将落地,与你探索数据架构的最佳实践

如何在物理和虚拟层面整合各个分散的领域和数据“孤岛”;如何使用混合多云平台来管理和处理数据;如何凭借计算和存储可扩展性,应对不断增长的数据量;如何在整个过程中融入安全性、可扩展性和适应能力;以及如何在数据提供者和使用者之间的价值链中实现数据集成、数据工程和数据治理自动化等等,都是数据据架构所关心的问题。

抛弃Hadoop,数据湖才能重获新生
抛弃 Hadoop,数据湖才能重获新生

存储正在经历新一轮架构革命:戴尔科技集团在数据湖的探索和思考

高可用分布式流数据存储设计
高可用分布式流数据存储设计

本次分享介绍京东高可用分布式流数据存储系统的架构。

透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

基于大数据的舆情分析系统架构(架构篇)
基于大数据的舆情分析系统架构(架构篇)

本文介绍了大数据舆情采集和分析系统的架构。

架构设计实践五部曲(一):架构与架构图
架构设计实践五部曲(一):架构与架构图

本文是架构设计实践五部曲系列文章的第一篇,架构与架构图。本文将对架构作深入的阐释,并教你什么时候画架构图、怎么画架构图。

历史库存储成本节约至少 50% ,OceanBase数据压缩核心技术解读
历史库存储成本节约至少 50% ,OceanBase 数据压缩核心技术解读

对于大量历史数据存储的需求, OceanBase 的 SSTable 存储格式和数据编码压缩功能可以使 OceanBase 更轻松地支持超大容量的数据存储。

解读数据架构的2020:开放、融合、简化
解读数据架构的 2020:开放、融合、简化

整个数据架构正在发生天翻地覆的变化,并且在未来十年,这个趋势仍会继续,原有的架构会不断被改良甚至颠覆。

一份数据满足所有数据场景?腾讯云数据湖解决方案及dlc核心技术介绍
一份数据满足所有数据场景?腾讯云数据湖解决方案及 dlc 核心技术介绍

数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。

破解数据孤岛难题,企业需要什么样的大数据平台?
破解数据孤岛难题,企业需要什么样的大数据平台?

当今正值新一轮科技革命迅猛发展阶段,数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,数据库 / 大数据平台在企业 IT 基础设施中发挥着越来越重要的作用。

云端数智新引擎,腾讯云原生数据湖计算重磅发布
云端数智新引擎,腾讯云原生数据湖计算重磅发布

腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。

对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?
对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?

近年来,一体化数据融合平台的概念逐渐受到关注。那么,真的可以使用一套解决方案应对所有场景吗?一体化数据平台有哪些主流选项?Lambda 与 Kappa 架构各有哪些优势和不足?企业该如何选择适合自己的解决方案?

从自研到Delta到Iceberg,网易严选数据湖建设实践
从自研到 Delta 到 Iceberg,网易严选数据湖建设实践

本文将分享网易严选的数据湖建设过程和思考。

基于 200Gbps InfiniBand 网络全闪文件系统的应用实践 | InfoQ 公开课
基于 200Gbps InfiniBand 网络全闪文件系统的应用实践 | InfoQ 公开课

IOPS、低延迟和稳定数据访问性能的存储系统,但是传统存储方案普遍存在硬件层面和软件层面的限制,存储系统很难同时兼顾,针对传统存储方案面临问题。

数据架构和存储技术专题_资料-InfoQ中文网