收录了 大数据技术架构详解 频道下的 50 篇内容
数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。
我的企业已经有一个老的基于传统技术搭建的数据平台了,现在要上中台,我们该怎么办?业务过来的需求一直持续不断,而新一代的数据中台又需要一个打基础的战略投入阶段,我们要怎么做才能既保证业务价值的持续交付又可以同步建设数据中台的基础设施?
本文试图帮助企业决策者和IT负责人解答“我的企业目前在数据应用上处于什么水平?接下来应该向哪个方向努力?”这一问题
直播概要当业务发展到一定规模,实时数据仓库就成了必要的基础服务。从数据驱动方面考虑,多维实时数据分析系统的重要性也不言而喻。
第五届数据质量管理国际峰会议程
中台打破了应用系统的壁垒,从企业全局梳理和规划业务程,重构了组织架构、业务架构与IT 架构。
本质上,中台是一种中心化、平台化的企业组织架构和业务形态,当这样的组织和业务架构投射到IT 系统上时会自然地形成我们今天讨论的IT 意义上的“中台”。笔者曾经参与过不少定位为统一平台的项目,其中有不少失败的案例,对于这个问题有一点个人的思考:也许中心化系统都是反传统管理体制的,烟囱式的生态系统是企业组织架构在IT 上的投影,小到“数据湖”,大到中台,没有强力对等的中心化组织去主导,结果是很难预料的。
高强度的算力需求下,业务对存储的要求越来越高,而且对于深耕存储领域的开发者来说,没有谁不想探索百度网盘背后的秘密。
本文以作者亲历视角,主要分享数仓型数据架构师的“修炼大法”。
从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式
过去二十年间,传统数据库几乎垄断企业级市场。成本让普通企业难以承受;另一方面在移动互联网、物联网盛行的当下,海量数据的产生要求数据库具备更高的扩展性、灵活性且保证性能,但传统数据库由于自身限制,无法满足企业需求,面对一些扩容需求,仅规划就需要半年时间。
本文来自美团点评技术文章系列。
360系统部成立于2010年,负责整个集团的大数据底层基础平台建设(包括分布式存储、分布式计算、大数据搜索、图计算等各类大数据服务),目前服务于整个集团30+部门,1000+用户,服务器25000+,存储数据量EB级。
这两年,随着中台概念的兴起,一种IT过去的常态,现在的明星反面教材——“烟囱式架构”被反复提及并为大家所熟知。
软件架构的发展大致经历了从单体架构、垂直架构、SOA架构到微服务架构的过程。下一代的软件架构会是什么?
前十最受欢迎技术公开课,绝对值得你收藏~
SOA 所有的理念都是基于现有应用系统展开的,不管是对服务的梳理还是服务之间的交互,都是以现有应用系统为载体的,中台不同于SOA 的地方在于:中台是一种平台化思维,它并不是从系统集成的角度去思考问题,而是从架构层面上重构了整个IT 生态。相比之下,中台无疑是一种更深刻、更底层的变革,因为它完全破除了应用之间的壁垒,把企业的核心业务能力“中心化”,把它们提炼并沉淀到中台的各个业务中心上,而不是面向单一业务方向或渠道的应用系统上。这在SOA 架构下是很难实现的,因为中台的业务中心与SOA 的服务载体(即应用系统)之间有着本质区别,它们的定位和服务对象都不同,这些区别决定了SOA 依然是一种相对松散的分治式的架构,很难与中台这种更加中心化、更为强力的架构体系相抗衡。
“我们要把技术和业务分开。”
前十最受欢迎技术专题,绝对值得你收藏~
本文介绍元数据驱动的SaaS架构的设计思路。