收录了 数据架构和存储技术 频道下的 50 篇内容
万亿级日志与行为数据存储查询技术剖析
本文介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。
近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。
本文回顾和分析了数据湖仓的历史和大数据平台的演进趋势,提出了基于增量计算的一体化趋势,以及该架构必然需要一个开放式的增量存储支撑。
大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。
本文简述大数据分析的技术挑战,数据架构模式,实现更优的通用大数据架构模式,及可以涵盖的典型数据处理场景。
本文是架构设计实践五部曲系列文章的第一篇,架构与架构图。本文将对架构作深入的阐释,并教你什么时候画架构图、怎么画架构图。
我们渴望通过数据来增强和改善商业和生活的各个方面,这驱使我们在大规模管理数据方面进行范式转变。
如何在物理和虚拟层面整合各个分散的领域和数据“孤岛”;如何使用混合多云平台来管理和处理数据;如何凭借计算和存储可扩展性,应对不断增长的数据量;如何在整个过程中融入安全性、可扩展性和适应能力;以及如何在数据提供者和使用者之间的价值链中实现数据集成、数据工程和数据治理自动化等等,都是数据据架构所关心的问题。
以 Hadoop 为基础的大数据体系架构已逐步陈旧,新一代的分析平台以及更发挥 AI 能力的数据平台架构仍有非常多的疑问还没有得到解答。
2023年,大数据引领者Databricks的最大进展
数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。
整个数据架构正在发生天翻地覆的变化,并且在未来十年,这个趋势仍会继续,原有的架构会不断被改良甚至颠覆。
本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。
聊聊大数据领域和数据仓库方向的技术演进
本次分享介绍京东高可用分布式流数据存储系统的架构。
本文是架构设计实践五部曲系列文章的第五篇,技术架构的战略和战术原则。本篇讲述如何保证在做技术架构时,实现一个稳定、出色的系统。
近年来,一体化数据融合平台的概念逐渐受到关注。那么,真的可以使用一套解决方案应对所有场景吗?一体化数据平台有哪些主流选项?Lambda 与 Kappa 架构各有哪些优势和不足?企业该如何选择适合自己的解决方案?
突如其来的革新和质疑?
本文介绍了大数据舆情采集和分析系统的架构。