聚焦大模型浪潮下软件工程的创新洞见与实践 |QCon主题演讲大咖来袭 了解详情
写点什么

数据湖技术架构

收录了 数据湖技术架构 频道下的 50 篇内容

数据湖与数据仓库的新未来:阿里提出湖仓一体架构
数据湖与数据仓库的新未来:阿里提出湖仓一体架构

近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。

主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流
主流大数据厂商激烈角逐湖仓一体新架构,华为云引领技术潮流

2021年上半年,湖仓一体俨然已经成为大数据领域最火热的流行词,各大云厂商推出自己的湖仓一体产品,在众多产品中,企业如何找到符合自身需求的数据管理产品?

云原生数据湖101
云原生数据湖 101

云原生数据湖致力于扩大公有云市场总量:一方面以低成本优势推动客户上云,另一方面云上客户得以低成本撬动更多结构化和非结构化数据的价值,是一场云厂商的自我革命。

爱奇艺商业智能部 / 研究员杜益凡确认出席 QCon 上海,分享爱奇艺数据治理中的数据湖应用实践
爱奇艺商业智能部 / 研究员杜益凡确认出席 QCon 上海,分享爱奇艺数据治理中的数据湖应用实践

“数据湖”作为近年来数据领域广泛热议的概念,其技术层面也受到了业界的广泛关注。数据湖不仅是一种集成和处理数据的极具前景的技术,更是一种治理数据的全新视角。

云端数智新引擎,腾讯云原生数据湖计算重磅发布
云端数智新引擎,腾讯云原生数据湖计算重磅发布

腾讯云发布云原生数据湖计算服务,协同腾讯云端数据湖体系,帮助企业高效构建云端数据湖架构、降低数据计算成本,提升数据分析敏捷性、激发数据应用价值,助力企业数字化决策。

构建企业现代化数据平台,从“智能湖仓”开始
构建企业现代化数据平台,从“智能湖仓”开始

从“智能湖仓”架构的技术演进,看现代化数据平台的发展方向。

数据湖火了,那数据仓库怎么办?
数据湖火了,那数据仓库怎么办?

生物本身就是算法,生命是不断处理数据的过程;意识与智能的分离;拥有大数据积累的外部环境将比我们自己更了解自己;

一份数据满足所有数据场景?腾讯云数据湖解决方案及dlc核心技术介绍
一份数据满足所有数据场景?腾讯云数据湖解决方案及 dlc 核心技术介绍

数据湖是一种越来越受欢迎的数据存储和分析方法,可解决处理海量异构数据的难题。云上数据湖解决方案的核心架构原则SSOT,即一份数据满足不同形态、不同引擎、不同大数据云产品的绝大部分大数据需求,无需数据移动、冗余,极大程度的降低用户云上存储成本。

AWS数据湖十年,云计算老大哥的磨刀之路
AWS 数据湖十年,云计算老大哥的磨刀之路

数据湖的作用在未来肯定越来越重要。

作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践
作业帮大数据平台架构负责人孙建业确认出席 QCon 上海,分享作业帮大数据湖仓架构和实践

随着数据湖相关技术的逐渐成熟、湖仓理论的发展,生产环境落地已经非常广泛。

开放式湖仓是湖仓一体架构的最终归宿
开放式湖仓是湖仓一体架构的最终归宿

本文回顾和分析了数据湖仓的历史和大数据平台的演进趋势,提出了基于增量计算的一体化趋势,以及该架构必然需要一个开放式的增量存储支撑。

从自研到Delta到Iceberg,网易严选数据湖建设实践
从自研到 Delta 到 Iceberg,网易严选数据湖建设实践

本文将分享网易严选的数据湖建设过程和思考。

OPPO数仓与数据湖融合架构升级的实践与思考
OPPO 数仓与数据湖融合架构升级的实践与思考

对话OPPO鲍永成:没有完备的数据体系,空谈湖仓之争没意义

构建切实有效的湖仓一体架构
构建切实有效的湖仓一体架构

湖仓一体架构力图结合数据仓库的弹性和数据湖的灵活性。本文介绍了由数据抽取、处理、编目和分析服务组成的概念架构,并给出了构建切实有效湖仓一体架构的五个基本原则。

数据湖,大数据的下一个变革!
数据湖,大数据的下一个变革!

大数据存储已经走到了一个新的阶段,肯定会有新的革命性技术来替换它。

漫谈“数据湖”(上)
漫谈“数据湖”(上)

本文介绍数据湖特点、价值、架构及与其相关的概念。

数据湖需要一次“二次手术”
数据湖需要一次“二次手术”

现在看来,这些数据湖正在“走向失败”——也导致整个数据湖领域步步趋向“二次手术”。

网易数帆实时数据湖Arctic的探索和实践
网易数帆实时数据湖 Arctic 的探索和实践

数据中台也要从离线为主走向实时化,湖仓一体是第一步。

使用对象存储,数据湖才能重获新生
使用对象存储,数据湖才能重获新生

存储正在经历新一轮架构革命:戴尔科技集团在数据湖的探索和思考

数据湖技术架构专题_资料-InfoQ中文网