聚焦大模型浪潮下软件工程的创新洞见与实践 |QCon主题演讲大咖来袭 了解详情
写点什么

数据架构和存储技术

收录了 数据架构和存储技术 频道下的 50 篇内容

架构周报| 万亿级日志与行为数据存储查询技术剖析

万亿级日志与行为数据存储查询技术剖析

数据中台之结构化大数据存储设计
数据中台之结构化大数据存储设计

本文介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。

数据湖与数据仓库的新未来:阿里提出湖仓一体架构
数据湖与数据仓库的新未来:阿里提出湖仓一体架构

近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。

开放式湖仓是湖仓一体架构的最终归宿
开放式湖仓是湖仓一体架构的最终归宿

本文回顾和分析了数据湖仓的历史和大数据平台的演进趋势,提出了基于增量计算的一体化趋势,以及该架构必然需要一个开放式的增量存储支撑。

透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史
透过数字化转型再谈数据中台(三):一文遍历大数据架构变迁史

大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。

Lambda plus: 云上大数据解决方案
Lambda plus: 云上大数据解决方案

本文简述大数据分析的技术挑战,数据架构模式,实现更优的通用大数据架构模式,及可以涵盖的典型数据处理场景。

架构设计实践五部曲(一):架构与架构图
架构设计实践五部曲(一):架构与架构图

本文是架构设计实践五部曲系列文章的第一篇,架构与架构图。本文将对架构作深入的阐释,并教你什么时候画架构图、怎么画架构图。

Data Mesh的原则和逻辑架构
Data Mesh 的原则和逻辑架构

我们渴望通过数据来增强和改善商业和生活的各个方面,这驱使我们在大规模管理数据方面进行范式转变。

QCon全球软件开发大会(广州站)即将落地,与你探索数据架构的最佳实践
QCon 全球软件开发大会(广州站)即将落地,与你探索数据架构的最佳实践

如何在物理和虚拟层面整合各个分散的领域和数据“孤岛”;如何使用混合多云平台来管理和处理数据;如何凭借计算和存储可扩展性,应对不断增长的数据量;如何在整个过程中融入安全性、可扩展性和适应能力;以及如何在数据提供者和使用者之间的价值链中实现数据集成、数据工程和数据治理自动化等等,都是数据据架构所关心的问题。

数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战
数据平台竞技场 2024:AI 或成为必杀技,但面临三个致命挑战

以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。

专访李潇:数据智能平台,AI时代的Lakehouse架构
专访李潇:数据智能平台,AI 时代的 Lakehouse 架构

2023年,大数据引领者Databricks的最大进展

一份数据满足所有数据场景?腾讯云数据湖解决方案及dlc核心技术介绍
一份数据满足所有数据场景?腾讯云数据湖解决方案及 dlc 核心技术介绍

数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。

解读数据架构的2020:开放、融合、简化
解读数据架构的 2020:开放、融合、简化

整个数据架构正在发生天翻地覆的变化,并且在未来十年,这个趋势仍会继续,原有的架构会不断被改良甚至颠覆。

大数据架构如何做到流批一体?
大数据架构如何做到流批一体?

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

高可用分布式流数据存储设计
高可用分布式流数据存储设计

本次分享介绍京东高可用分布式流数据存储系统的架构。

架构设计实践五部曲(五):技术架构的战略和战术原则
架构设计实践五部曲(五):技术架构的战略和战术原则

本文是架构设计实践五部曲系列文章的第五篇,技术架构的战略和战术原则。本篇讲述如何保证在做技术架构时,实现一个稳定、出色的系统。

对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?
对话黄东旭、关涛、李远策:数据引擎,One Size Fits All 真的能实现么?

近年来,一体化数据融合平台的概念逐渐受到关注。那么,真的可以使用一套解决方案应对所有场景吗?一体化数据平台有哪些主流选项?Lambda 与 Kappa 架构各有哪些优势和不足?企业该如何选择适合自己的解决方案?

基于大数据的舆情分析系统架构(架构篇)
基于大数据的舆情分析系统架构(架构篇)

本文介绍了大数据舆情采集和分析系统的架构。

数据架构和存储技术专题_资料-InfoQ中文网