写点什么
创作场景
- 记录自己日常工作的实践、心得
- 发表对生活和职场的感悟
- 针对感兴趣的事件发表随笔或者杂谈
- 从 0 到 1 详细介绍你掌握的一门语言、一个技术,或者一个兴趣、爱好
- 或者,就直接把你的个人博客、公众号直接搬到这里
登录/注册
收录了 数据流技术架构 频道下的 50 篇内容

在数字化转型的浪潮席卷之下,大数据和云计算技术已成为企业创新和发展的关键驱动力。尤其是以京东为代表的电商平台为例,其日常运营中持续生成海量数据,涵盖实时交易记录、点击曝光统计及用户行为轨迹等,这些数据对精准业务决策、深化用户体验优化等方面具有重要意义。

Apache Flink是由Apache Software Foundation开发的开源流处理框架。

本次分享介绍京东高可用分布式流数据存储系统的架构。
本文介绍了 RocketMQ Connect 的概念,然后讲解了 RocketMQ Connect 的实现原理,对服务发现,配置同步,位点同步,负载均衡都有了初步的介绍,接着以 MySqlSourceConnector 为例讲解了如何自己实现一个 Connector,最后对 Connect API 和生态做了
深入了解测试过程中被测系统的架构与数据流,有助于理解业务逻辑,梳理业务用例以及促进部门协同。

火山引擎新一代数据湖如何解决多模态数据带来的关键问题。

本文简述大数据分析的技术挑战,数据架构模式,实现更优的通用大数据架构模式,及可以涵盖的典型数据处理场景。

今年的双11,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角。

Mesh 是近来受到广泛重视的一种新型架构范式。每家数据和平台提供商都说明了怎样使用自己的平台来构建最好的数据网格。

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

当提到“实时分析”,大家脑海里首先浮现的是大屏上不断跳跃闪烁的数字和波动的曲线,让人有种纵观全局的掌控感。

“由于生产流程是无法控制的,所以业务系统最简单的做法就是采用融合数据库。

本文是实时流计算 2018 年终盘点,作者对实时流计算技术的发展现状进行了深入剖析,并对当前大火的各个主流实时流计算框架做了全面、客观的对比,同时对未来流计算可能的发展方向进行预测和展望。

大数据的处理方式主要分为两类,一类是基于有边界的历史静态数据的批处理;和流数据的实时处理。由于具体业务和大数据技术发展历程的原因,在实际应用中,批处理和流处理的数据和技术还是被分隔成两个不同的部分。

Flink的进展和未来规划

本次分享介绍 Pulsar 如何为批和流处理提供高效统一的数据存储

京东JDQ团队结合降本增效的行业趋势,针对开源Kafka在限流技术方面的不足和局限性进行了深入研究,开发出支持多维度、动态以及优先级等限流功能的JDQ带宽管控限流架构。本文将针对Kafka限流存在的问题,以及JDQ限流架构进行深入介绍。

本文介绍“分布式流计算+ 分布式流存储”的原生流式大数据处理平台的架构理念。

传统的变更数据捕获(CDC)实施方案面临复杂的工程挑战

流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战。