收录了 大数据仓库技术架构 频道下的 50 篇内容
近几年,随着数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论始终不断。数据仓库和数据湖的区别到底是什么?本文作者来自阿里巴巴计算平台部门,在深度参与阿里巴巴大数据/数据中台领域建设之后,将对数据湖和数据仓库的来龙去脉进行深入剖析,阐述两者融合演进的新方向——湖仓一体。
大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。
银行数据仓库应该如何构建?
本文是松子(李博源)的大数据平台发展史系列文章的第一篇(共四篇),本系列以独特的视角,比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆,对非互联网、互联网,从数据平台的用户角度、数据架构演进、模型等进行了阐述。
本次分享基于基础架构团队过往的工作成果,介绍字节跳动在提升基于 Spark SQL 的 ETL 稳定性以及优化 ad-hoc 查询的性能方面的实践。
从“智能湖仓”架构的技术演进,看现代化数据平台的发展方向。
某公司的技术架构体系目前还是以集群扩展体系为主
直播概要当业务发展到一定规模,实时数据仓库就成了必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。
云原生的巨浪正在席卷全球的软件产业,包括开源软件和商业软件。
数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。
这是瓜子大数据技术团队第一次对外技术采访,浅谈大数据架构及对云平台大数据服务选型的思考,有共性也有差异,个中原因值得探讨。
本文将分上下篇讲解宜人贷的PaaS数据服务平台—Genie。
ClickHouse版本的“云数据库是不是杀猪盘”?
生物本身就是算法,生命是不断处理数据的过程;意识与智能的分离;拥有大数据积累的外部环境将比我们自己更了解自己;
大数据未来发展的三大方向
腾讯云大数据技术已经从第一代的离线计算,第二代的实时计算,第三代的机器学习,发展到如今以隐私计算、数智融合以及云原生为代表的第四代。
本文介绍从数仓到数据中台的技术选型实践。
从制作报表到数仓,中国银联的大数据转型历程。
作为一种新兴架构,湖仓一体在扩展性、事务性以及灵活度上都体现出了独有的优势,也正因如此,无论在技术圈还是资本圈,湖仓一体都受到了前所未有的关注度。
以Hadoop为基础的第一代大数据体系架构已基本建成,但是面向未来的更现代的数据平台架构仍有非常多的疑问还没有得到解答。