写点什么

数据流技术架构

收录了 数据流技术架构 频道下的 50 篇内容

揭秘 JDQ 限流架构:实时数据链路的多维动态带宽管控|京东零售技术实践
揭秘 JDQ 限流架构:实时数据链路的多维动态带宽管控|京东零售技术实践

在数字化转型的浪潮席卷之下,大数据和云计算技术已成为企业创新和发展的关键驱动力。尤其是以京东为代表的电商平台为例,其日常运营中持续生成海量数据,涵盖实时交易记录、点击曝光统计及用户行为轨迹等,这些数据对精准业务决策、深化用户体验优化等方面具有重要意义。

20个大数据必知领域之「Flink」
20 个大数据必知领域之「Flink」

Apache Flink是由Apache Software Foundation开发的开源流处理框架。

高可用分布式流数据存储设计
高可用分布式流数据存储设计

本次分享介绍京东高可用分布式流数据存储系统的架构。

让数据流动起来,RocketMQ Connect 技术架构解析

本文介绍了 RocketMQ Connect 的概念,然后讲解了 RocketMQ Connect 的实现原理,对服务发现,配置同步,位点同步,负载均衡都有了初步的介绍,接着以 MySqlSourceConnector 为例讲解了如何自己实现一个 Connector,最后对 Connect API 和生态做了

阿里云
RocketMQ
云原生
技术分享 | 被测系统架构与数据流分析

深入了解测试过程中被测系统的架构与数据流,有助于理解业务逻辑,梳理业务用例以及促进部门协同。

AI 驱动的新基建:下一代多模态数据湖探索与实践|QCon 上海
AI 驱动的新基建:下一代多模态数据湖探索与实践|QCon 上海

火山引擎新一代数据湖如何解决多模态数据带来的关键问题。

Lambda plus: 云上大数据解决方案
Lambda plus: 云上大数据解决方案

本文简述大数据分析的技术挑战,数据架构模式,实现更优的通用大数据架构模式,及可以涵盖的典型数据处理场景。

40亿条/秒!Flink流批一体在阿里双11首次落地的背后
40 亿条 / 秒!Flink 流批一体在阿里双 11 首次落地的背后

今年的双11,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角。

使用 Kafka 和动态数据网格进行流式数据交换
使用 Kafka 和动态数据网格进行流式数据交换

Mesh 是近来受到广泛重视的一种新型架构范式。每家数据和平台提供商都说明了怎样使用自己的平台来构建最好的数据网格。

大数据架构如何做到流批一体?
大数据架构如何做到流批一体?

本文介绍大数据分析场景需要解决的技术挑战、主流大数据架构模式及其发展。

如何搭建批流一体大数据分析架构?
如何搭建批流一体大数据分析架构?

当提到“实时分析”,大家脑海里首先浮现的是大屏上不断跳跃闪烁的数字和波动的曲线,让人有种纵观全局的掌控感。

甲骨文副总裁吴承杨:AI放大了数据优势,数据融合至关重要
甲骨文副总裁吴承杨:AI 放大了数据优势,数据融合至关重要

“由于生产流程是无法控制的,所以业务系统最简单的做法就是采用融合数据库。

解读2018:13家开源框架谁能统一流计算?
解读 2018:13 家开源框架谁能统一流计算?

本文是实时流计算 2018 年终盘点,作者对实时流计算技术的发展现状进行了深入剖析,并对当前大火的各个主流实时流计算框架做了全面、客观的对比,同时对未来流计算可能的发展方向进行预测和展望。

Pulsar 如何为批和流处理提供高效统一的数据存储 | QCon
Pulsar 如何为批和流处理提供高效统一的数据存储 | QCon

大数据的处理方式主要分为两类,一类是基于有边界的历史静态数据的批处理;和流数据的实时处理。由于具体业务和大数据技术发展历程的原因,在实际应用中,批处理和流处理的数据和技术还是被分隔成两个不同的部分。

Flink十周年专访莫问:存算分离2.0架构的探索与展望
Flink 十周年专访莫问:存算分离 2.0 架构的探索与展望

Flink的进展和未来规划

Pulsar 如何为批和流处理提供高效统一的数据存储
Pulsar 如何为批和流处理提供高效统一的数据存储

本次分享介绍 Pulsar 如何为批和流处理提供高效统一的数据存储

揭秘JDQ限流架构:实时数据链路的多维动态带宽管控|京东零售技术实践
揭秘 JDQ 限流架构:实时数据链路的多维动态带宽管控|京东零售技术实践

京东JDQ团队结合降本增效的行业趋势,针对开源Kafka在限流技术方面的不足和局限性进行了深入研究,开发出支持多维度、动态以及优先级等限流功能的JDQ带宽管控限流架构。本文将针对Kafka限流存在的问题,以及JDQ限流架构进行深入介绍。

数据
JDQ
kafla
下一个分布式存储系统,为万物互联的智能世界而发
下一个分布式存储系统,为万物互联的智能世界而发

本文介绍“分布式流计算+ 分布式流存储”的原生流式大数据处理平台的架构理念。

实时大规模变更数据捕获:Openflow数据库复制架构的技术解析 | 技术趋势
实时大规模变更数据捕获:Openflow 数据库复制架构的技术解析 | 技术趋势

传统的变更数据捕获(CDC)实施方案面临复杂的工程挑战

阿里云高级开发工程师罗宇侠将在QCon 北京分享 Lakehouse 架构实时化演进实践
阿里云高级开发工程师罗宇侠将在 QCon 北京分享 Lakehouse 架构实时化演进实践

流存储和 LakeHouse 架构割裂的现状下用户面临的问题和挑战。

数据流技术架构专题_资料-InfoQ中文网