收录了 大数据采集技术架构 频道下的 50 篇内容
vivo 大数据采集接入平台架构和监控体系、vivo 大数据采集接入原来监控遇到的问题,以及在链路稳定性、链路数据质量和链路数据成本优化场景下基于可观测的技术方案和实践。
本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。酷狗音乐的大数据架构本身很经典,而这篇讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。
大数据架构的发展可用三个时代九种架构来做总结,其中前四代是传统数据仓库时代的架构,后面五代是大数据架构模式。
数字经济,已经成为当今经济发展中非常重要的一部分。 与农业经济、工业经济如出一辙,数字经济活动需要土地、劳动力、资本、技术以及相应配套基础设施。
本文介绍如何构建通用数据中台的经验。
我们知道技术架构应由应用场景的特征来决定,就现状而言,工业大数据还处在产业的初级阶段,对工业大数据应用场景的认知还不太深入,但大数据在互联网的应用已具备成熟的技术体系和应用框架,因此,本文主要通过比较工业应用场景和互联网应用场景的差异性,期望能够修正互联网大数据的相关应用技术框架,以满足工业大数据落地对技术框架的要求。
作为一家巨型跨国企业,华为在170多个国家同时开展各种业态的业务,华为的数据底座是支撑华为业务运营的关键。
本文介绍从数仓到数据中台的技术选型实践。
数据中台的定位是中心化的企业数据处理平台,企业所有的数据需要输送至数据中台,由数据中台统一进行收集、验证、清洗和转换并集中存储,然后经过数据仓库体系的层层治理将数据按业务主题重新组织,为业务系统和数据分析提供高质量的数据集。同时它具备实时数据处理能力,能在极短时间内完成从数据采集到终端呈现的全链路数据处理,并有能力处理一些基于数据的业务请求,它还配备了人工智能与机器学习的相关基础设施,支持高阶的数据洞察与预测。最后,数据中台通过丰富的接口和协议对外提供完备的数据服务,支撑业务中台与前台应用对数据的全方位需求。
近年来,一体化数据融合平台的概念逐渐受到关注。那么,真的可以使用一套解决方案应对所有场景吗?一体化数据平台有哪些主流选项?Lambda 与 Kappa 架构各有哪些优势和不足?企业该如何选择适合自己的解决方案?
元数据并不止存在于数据领域,近年来,元数据管理的范围在不断扩大,从简单的库表,到整个数据平台,再到服务管理,不断突破传统元数据管理的范畴。InfoQ采访了普元软件产品部副总、大数据产品线总经理王轩,了解如下问题:“元数据”和“大数据”之间的异同之处在哪里?大数据环境下的元数据管理有什么特点?元数据元数据驱动的微服务架构有何特点?企业大数据治理难点在哪里?
我的企业已经有一个老的基于传统技术搭建的数据平台了,现在要上中台,我们该怎么办?业务过来的需求一直持续不断,而新一代的数据中台又需要一个打基础的战略投入阶段,我们要怎么做才能既保证业务价值的持续交付又可以同步建设数据中台的基础设施?
本文介绍物联网大数据处理中可能遇到的问题,分析TDengine、InfluxDB、ClickHouse、Hadoop、MySQL等系统在处理时序数据时的优缺点。
近年来,随着大数据与人工智能相关技术的迅速发展,新技术逐步在全社会各行各业得到应用。银行业作为一个高度信息化的行业,首当其冲面临着互联网新技术应用的挑战。民生银行在 2013 年开始布局分布式、大数据及人工智能技术等领域,在全行凤凰计划的牵头下,逐步将新技术与我行发展战略业务实施策略进行了深度融合,为金融科技银行的发展奠定了扎实的基础。
百分点科技大数据技术团队围绕当前媒体机构的转型需求,系统地介绍了百分点科技媒体数据中台建设方法论及实践成果。
本文将从数据中台的概念、架构、建设理念等角度切入,对关键组成部分进行深入介绍,让大家能够在理解中台的同时,了解到如何通过中台解决问题,帮助业务挖掘数据价值。
但是数据中台是什么?
本文试图帮助企业决策者和IT负责人解答“我的企业目前在数据应用上处于什么水平?接下来应该向哪个方向努力?”这一问题
作为全球技术风向标的硅谷企业的“数据中台“到底什么样,他们的“数据中台”是如何建设的?
2019年9月20日下午,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)数据资产管理工作组在中国信息通信研究院召开第五次讨论会,完成了数据管理平台的技术要求和测试用例。