2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

流数据处理

收录了 流数据处理 频道下的 50 篇内容

Twitter 开源了流数据处理引擎 Heron

Twitter开源了作为Storm替代者的Heron流数据处理引擎。Heron上的应用向后兼容Strom,目前已得到广泛的关注和使用。本文是InfoQ对Heron项目负责人的访谈,涉及了Heron项目的构思、特点、开发情况、主要特性及开发社区与使用情况等。

使用 Dataflow 模型和 Apache Beam 进行流数据处理的基础

在QCon San Francisco 2016大会上,Frances Perry和Tyler Akidau做了一个关于“使用Apache Beam进行流数据处理的基础”的主题演讲。在演讲中探讨了Google的Dataflow模型以及Apache Beam的相关实现。

用 Apache Spark 进行大数据处理——第三部分:Spark 流

在本文,也就是Apache Spark系列的第三部分中,作者Srini Penchikala用一个日志分析样例应用讨论了如何将Apache Spark流框架用于实时流数据处理中。

如何基于Apache Pulsar和Spark进行批流一体的弹性数据处理?
如何基于 Apache Pulsar 和 Spark 进行批流一体的弹性数据处理?

本文介绍了以 Pulsar 做流数据平台,使用 Spark 进行批流一体数据处理的编程实践。

使用 Apache Kafka 和 KSQL 实现普及化流处理

本文作者Michael Noll介绍了如何使用KSQL实现流处理。KSQL是Apache Kafka的数据流SQL引擎。本文内容涵盖了有状态流处理中的挑战、KSQL是如何解决这些挑战的,以及KSQL是如何通过流和表构建了流数据和数据库之间的桥梁。

go-zero流数据处理利器
go-zero 流数据处理利器

流处理 (Stream processing) 是一种计算机编程范式,其允许给定一个数据序列 (流处理数据源),一系列数据操作 (函数) 被应用到流中的每个元素。同时流处理工具可以显著提高程序员的开发效率,允许他们编写有效、干净和简洁的代码。

stream
functional
Go 语言
YashanDB 数据库支持实时流数据处理的核心优势

在数据库技术领域,实时流数据处理面临诸多技术挑战,包括数据的高吞吐量处理、低延迟响应、数据一致性保证以及高可用性支持等。传统数据库系统常因性能瓶颈和扩展性不足难以满足流数据处理的需求。本文以YashanDB数据库为例,深入探讨其在支持实时流数据处理

为什么 Google 用 Apache Beam 彻底替换掉 MapReduce

1月10日,Apache软件基金会宣布,Apache Beam成功孵化,成为该基金会的一个新的顶级项目。谷歌坚信Apache Beam就是数据批量处理和流式处理的未来。

探寻流式计算
探寻流式计算

流式计算的介绍

从键盘键入到神经网络——深度学习在彭博的应用
从键盘键入到神经网络——深度学习在彭博的应用

本次分享介绍在神经网络领域最新的突破如何帮助彭博对文件进行自动化处理,展示其在数据提取及分析方面体现出来的更高准确度和更快处理速度。

为什么说Pravega是流处理统一批处理的最后一块拼图?
为什么说 Pravega 是流处理统一批处理的最后一块拼图?

本文是分布式流存储Pravega专栏第一篇文章

爱奇艺大数据实时分析平台的建设与实践
爱奇艺大数据实时分析平台的建设与实践

本文介绍爱奇艺大数据实时分析平台RAP的设计思路、技术架构演进以及业务应用实践。

批处理 ETL 已经消亡,Apache Kafka 才是数据处理的未来吗?

在QCon旧金山2016会议上,Neha Narkhed做了“ETL已死,而实时流长存”的演讲,并讨论了企业级数据处理领域所面临的挑战。该演讲的核心前提是开源的Apache Kafka流处理平台能够提供灵活且统一的框架,支持数据转换和处理的现代需求。

OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题
OpenYurt 联手 eKuiper,解决 IoT 场景下边缘流数据处理难题

近日,OpenYurt 与开源项目 eKuiper 正式达成合作,完成了集成对接:从 v0.4.0 版本开始,OpenYurt 将正式支持部署和管理 eKuiper ,双方将共同帮助开发者轻松、高效地解决物联网边缘计算场景下流式数据处理和运维挑战。

云计算
阿里云
开源
云原生
中间件
eKuiper 联手 OpenYurt,解决物联网场景下边缘流数据处理难题
eKuiper 联手 OpenYurt,解决物联网场景下边缘流数据处理难题

云计算的出现使得物联网实现了爆炸式增长。

云计算
阿里云
物联网
IoT
#Kubernetes#
数据库内核杂谈(二十一): 流处理系统简介
数据库内核杂谈 (二十一): 流处理系统简介

InfoQ 热门专题之一又更新了

使用Redis流和Apache Spark处理实时数据
使用 Redis 流和 Apache Spark 处理实时数据

将Redis流作为流数据库,Apache Spark作为数据处理引擎,两者怎样共同部署才能做到最佳搭配?

继数据库、流处理器之后,数据管理的下一步是什么?
继数据库、流处理器之后,数据管理的下一步是什么?

本文将带我们了解流处理器和数据库的关联关系,以及为什么出现了一种新类型的数据库,这种数据库既关注固定数据,也关注移动数据。

流数据并行处理性能比较:Kafka vs Pulsar vs Pravega
流数据并行处理性能比较:Kafka vs Pulsar vs Pravega

当高性能遇上并行性

Pulsar 如何为批和流处理提供高效统一的数据存储
Pulsar 如何为批和流处理提供高效统一的数据存储

本次分享介绍 Pulsar 如何为批和流处理提供高效统一的数据存储

流数据处理专题_资料-InfoQ中文网