世界正在走向实时化,越来越多的应用场景需要以低延迟来分析实时数据。数据的价值随着时间的流逝而降低。这正是大数据实时计算越来越流行的原因,越来越多的企业应用也开始从批处理数据平台向实时的流数据平台转移。实时计算主要分为两块:一是数据的实时入库,二是数据的实时计算,InfoQ也积累了很多企业实践的精彩案例,我们挑选了部分精彩内容,以飨读者。
目前腾讯的实时计算的规模已经十分庞大。数据平台部实时计算团队每天需要处理超过了 17 万亿条数据,其中每秒接入的数据峰值达到了 2.1 亿条。本文介绍了腾讯大数据在实时计算平台建设上的工作。
OPPO 大数据平台研发负责人张俊接受 InfoQ 专访,深度解析实时流计算的行业实践以及变化趋势。
本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。
本文主要讲述知乎的实时数仓实践以及架构的演进。
本文首先介绍了久耶第一代离线数仓以及第二代实时数仓,接下来介绍基于 HBase 的开发流程,以及 CDH 集群调优监控。
本文介绍基于 Flink 构建用户实时基础行为工程的相关实践,包括 Flink 相关的技术点和基础行为实时工程的业务。
本文主要阐述马赫系统中数据处理的具体设计方案,说明整体设计的来龙去脉。
本文介绍唯品会实时计算平台的现状和发展历程。
滴滴出行作为一家出行领域的互联网公司,其核心业务是一个实时在线服务。因此具有丰富的实时数据和实时计算场景。本文将介绍滴滴实时计算发展之路以及平台架构实践。
本文主要分为四个部分,首先介绍严选实时数仓的背景、产生的一些问题。然后是针对这些背景和问题对实时数仓的整体设计和具体的实施方案,接着会介绍下在实时数仓的数据质量方面的工作,最后讲一下实时数仓在严选中的应用场景。
在大数据、AI 盛行的时代,无论是传统企业还是第三方数据服务公司,都逐步认识到数据资产的重要性。营销是数据的变现的重要突破口,而千人千面的个性化营销需求有力地促进了大数据技术在传统行业的落地——用户 360 画像、标签、人群……成了一套大数据营销产品必不可少的元素。