阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

流数据处理

收录了 流数据处理 频道下的 50 篇内容

Twitter 开源了流数据处理引擎 Heron

Twitter开源了作为Storm替代者的Heron流数据处理引擎。Heron上的应用向后兼容Strom,目前已得到广泛的关注和使用。本文是InfoQ对Heron项目负责人的访谈,涉及了Heron项目的构思、特点、开发情况、主要特性及开发社区与使用情况等。

使用 Dataflow 模型和 Apache Beam 进行流数据处理的基础

在QCon San Francisco 2016大会上,Frances Perry和Tyler Akidau做了一个关于“使用Apache Beam进行流数据处理的基础”的主题演讲。在演讲中探讨了Google的Dataflow模型以及Apache Beam的相关实现。

用 Apache Spark 进行大数据处理——第三部分:Spark 流

在本文,也就是Apache Spark系列的第三部分中,作者Srini Penchikala用一个日志分析样例应用讨论了如何将Apache Spark流框架用于实时流数据处理中。

如何基于Apache Pulsar和Spark进行批流一体的弹性数据处理?
如何基于 Apache Pulsar 和 Spark 进行批流一体的弹性数据处理?

本文介绍了以 Pulsar 做流数据平台,使用 Spark 进行批流一体数据处理的编程实践。

使用 Apache Kafka 和 KSQL 实现普及化流处理

本文作者Michael Noll介绍了如何使用KSQL实现流处理。KSQL是Apache Kafka的数据流SQL引擎。本文内容涵盖了有状态流处理中的挑战、KSQL是如何解决这些挑战的,以及KSQL是如何通过流和表构建了流数据和数据库之间的桥梁。

Apache Kafka从0.7到1.0:那些年我们踩过的坑
Apache Kafka 从 0.7 到 1.0:那些年我们踩过的坑

本文是《Kafka的七年之痒》专题系列文章的第一篇,整理自王国璋老师在QCon 2018 上海站的演讲。从最早的“分布式消息系统”,到现在集成了分发、存储和计算的“流式数据平台”,Kafka经历了哪些挑战?又经过了什么样的演进变化?Kafka社区踩过哪些“坑”?本文将为你一一道来。

go-zero流数据处理利器
go-zero 流数据处理利器

流处理 (Stream processing) 是一种计算机编程范式,其允许给定一个数据序列 (流处理数据源),一系列数据操作 (函数) 被应用到流中的每个元素。同时流处理工具可以显著提高程序员的开发效率,允许他们编写有效、干净和简洁的代码。

stream
functional
Go 语言
20个大数据必知领域之「Heron」
20 个大数据必知领域之「Heron」

提高计算的时效性,更快的从数据中挖掘出信息和知识就意味着能够获取更大的价值。

云原生时代企业如何构建流数据平台 | InfoQ 公开课
云原生时代企业如何构建流数据平台 | InfoQ 公开课

视频内容:流数据在企业中往往扮演着重要的角色,是实时数据分析的基础。随着企业对数据质量,对数据分析实时性的重视程度的不断提高,企业对流数据的存储需求也越来越高。

为什么 Google 用 Apache Beam 彻底替换掉 MapReduce

1月10日,Apache软件基金会宣布,Apache Beam成功孵化,成为该基金会的一个新的顶级项目。谷歌坚信Apache Beam就是数据批量处理和流式处理的未来。

物联网及电子交易的实时BI分析场景探讨
物联网及电子交易的实时 BI 分析场景探讨

本文将基于实时数据可视化软件Altair Panopticon与大家共同探讨物联网及电子交易的实时BI分析场景。

探寻流式计算
探寻流式计算

流式计算的介绍

如何搭建批流一体大数据分析架构?
如何搭建批流一体大数据分析架构?

当提到“实时分析”,大家脑海里首先浮现的是大屏上不断跳跃闪烁的数字和波动的曲线,让人有种纵观全局的掌控感。

大数据凉了?不,流式计算浪潮才刚刚开始

本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》,在探讨流式系统方面本书是市面上难得一见的深度书籍,非常值得学习。

贝壳:流式数据的平台化实践与挑战
贝壳:流式数据的平台化实践与挑战

本文介绍贝壳找房如何建设流式数据平台来满足业务方的需求。

从键盘键入到神经网络——深度学习在彭博的应用
从键盘键入到神经网络——深度学习在彭博的应用

本次分享介绍在神经网络领域最新的突破如何帮助彭博对文件进行自动化处理,展示其在数据提取及分析方面体现出来的更高准确度和更快处理速度。

为什么说Pravega是流处理统一批处理的最后一块拼图?
为什么说 Pravega 是流处理统一批处理的最后一块拼图?

本文是分布式流存储Pravega专栏第一篇文章

爱奇艺大数据实时分析平台的建设与实践
爱奇艺大数据实时分析平台的建设与实践

本文介绍爱奇艺大数据实时分析平台RAP的设计思路、技术架构演进以及业务应用实践。

分布式流处理框架 Apache Samza 成为 Apache 的顶级项目

近日,从Apache官方博客中得知,开源的分布式流处理框架Apache Samza历经18个月的孵化期后终于升级成为Apache的顶级项目。Samza由LinkedIn于2013年9月开源并作为孵化项目贡献给Apache, 它能够帮助开发者进行高速消息处理,同时具有还良好的容错能力。

快速起步Apache Flink,这远比我们看到的更强大
快速起步 Apache Flink,这远比我们看到的更强大

Cloudera 与 Apache Flink 的结合能给企业及开发者带来哪些体验提升?

流数据处理专题_资料-InfoQ中文网