写点什么

大数据技术架构详解

收录了 大数据技术架构详解 频道下的 50 篇内容

企业数据能力测评:认清现状,布局未来丨建设数据中台系列(一)
企业数据能力测评:认清现状,布局未来丨建设数据中台系列(一)

本文试图帮助企业决策者和IT负责人解答“我的企业目前在数据应用上处于什么水平?接下来应该向哪个方向努力?”这一问题

“数据中台”有何不同?丨建设数据中台系列(六)
“数据中台”有何不同?丨建设数据中台系列(六)

数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。

详解容灾架构中的数据复制技术

企业容灾架构中,所谓的数据复制技术主要是指能够将结构化数据进行复制,从而保证数据具备双副本或者多副本分散在不同数据中心的技术。这里面需要强调两点:

Java
腾讯看点基于Flink+ClickHouse的实时数据系统实践 | InfoQ 公开课
腾讯看点基于 Flink+ClickHouse 的实时数据系统实践 | InfoQ 公开课

直播概要当业务发展到一定规模,实时数据仓库就成了必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。

“数据中台”怎么建?丨建设数据中台系列(七)
“数据中台”怎么建?丨建设数据中台系列(七)

我的企业已经有一个老的基于传统技术搭建的数据平台了,现在要上中台,我们该怎么办?业务过来的需求一直持续不断,而新一代的数据中台又需要一个打基础的战略投入阶段,我们要怎么做才能既保证业务价值的持续交付又可以同步建设数据中台的基础设施?

中台架构详解(上)丨建设数据中台系列(四)
中台架构详解(上)丨建设数据中台系列(四)

中台打破了应用系统的壁垒,从企业全局梳理和规划业务程,重构了组织架构、业务架构与IT 架构。

360一站式大数据资源管理与开发平台详解
360 一站式大数据资源管理与开发平台详解

360系统部成立于2010年,负责整个集团的大数据底层基础平台建设(包括分布式存储、分布式计算、大数据搜索、图计算等各类大数据服务),目前服务于整个集团30+部门,1000+用户,服务器25000+,存储数据量EB级。

揭秘百度网盘背后的存储之道,关注这场直播!
揭秘百度网盘背后的存储之道,关注这场直播!

高强度的算力需求下,业务对存储的要求越来越高,而且对于深耕存储领域的开发者来说,没有谁不想探索百度网盘背后的秘密。

如何成为一个合格的数据架构师?
如何成为一个合格的数据架构师?

本文以作者亲历视角,主要分享数仓型数据架构师的“修炼大法”。

如何设计实时数据平台(下篇)
如何设计实时数据平台(下篇)

从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式

Google Cloud 对话 PingCAP,探索 TiDB 核心数据库的上云秘籍
Google Cloud 对话 PingCAP,探索 TiDB 核心数据库的上云秘籍

过去二十年间,传统数据库几乎垄断企业级市场。成本让普通企业难以承受;另一方面在移动互联网、物联网盛行的当下,海量数据的产生要求数据库具备更高的扩展性、灵活性且保证性能,但传统数据库由于自身限制,无法满足企业需求,面对一些扩容需求,仅规划就需要半年时间。

美团酒旅起源数据治理平台的建设与实践
美团酒旅起源数据治理平台的建设与实践

本文来自美团点评技术文章系列。

四说大数据时代“神话”:从大数据到深数据
四说大数据时代“神话”:从大数据到深数据

作为国内最大的电商平台之一,苏宁每天要处理数量巨大的数据。为了更快速高效地处理这些数据,苏宁调度平台采取了哪些措施呢?

数据库内核杂谈(三十)- 大数据时代的存储格式-Parquet
数据库内核杂谈(三十)- 大数据时代的存储格式 -Parquet

欢迎阅读新一期的数据库内核杂谈。在内核杂谈的第二期(存储演化论)里,我们介绍过数据库如何存储数据文件。

JavaScript全栈解决方案比较:Angular、React、Vue.js的对比
JavaScript 全栈解决方案比较:Angular、React、Vue.js 的对比

成功的关键:权衡复杂性与团队能力。

2020年 InfoQ 最受欢迎的文章排行榜 | 技术公开课篇
2020 年 InfoQ 最受欢迎的文章排行榜 | 技术公开课篇

前十最受欢迎技术公开课,绝对值得你收藏~

当我们聊技术实力的时候,我们到底在聊什么

当我们聊技术实力的时候,我们到底在聊什么?

面对百亿用户数据,日均亿次请求,携程应用架构如何涅槃?

携程基础业务研发部大数据应用激增,新形势下,传统应用架构不得不变,改为大数据及新的高并发架构。面对百亿用户数据,日均亿次请求,携程应用架构如何涅槃?

大数据技术架构详解专题_资料-InfoQ中文网