收录了 流式处理 频道下的 49 篇内容
与传统的批处理数据相比,流式处理器是一种软件平台,用户可以更快地响应传入的数据流。在本文中,作者讨论了流式处理器参考架构、大多数流式应用程序所需的关键特性以及如何根据特定用例选择合适的流式处理器。
在2017年的纽约QCon大会上,Shriya Arora呈现了“Personalizing Netflix with Streaming Datasets”的演讲,分享了Netflix的一个数据作业迁移案例,他们使用Flink替代了原先基于批处理的ETL。
本文介绍了我们在Kubernetes中扩展分布式流处理器的经验。流处理器应该支持维护最佳的并行性。然而,添加更多的资源会带来额外的成本,但却不能保证性能的提升。
本文是敏捷大数据(Agile BigData)背景下的实时流式处理平台Wormhole的开篇介绍。
主要从Wormhole的功能设计入手,重点介绍Wormhole所支持的几个基本功能。
我们在 re:Invent 2016 发布了 Amazon AppStream 2.0。
data Artisans宣布推出Streaming Ledger,它扩展了Apache Flink,提供了跨表、键和事件流执行可序列化ACID事务的功能。这项正在申请专利的技术是Flink的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。
在大数据领域工作了近8年后,今年秋天,作为data Artisans的技术布道师,我在Apache Flink社区变得越来越活跃。
我们提升了系统性能,从而降低了运营成本。
百度数据工厂以 Spark 为基础提供了流批一体的大数据分析解决方案,流式数据处理在里面承担了其中的实时计算和实时与离线转换功能。流式数据处理不仅提供了流批统一 SQL 引擎、流批统一 META 管理和实时落数仓等技术支持,还提供了流式数据处理的一体化平台,提供流式数据处理的提交、运维、监控等能力。
Serverless 工作流用于将函数编排为协调的微服务应用程序。
本文介绍Rheos SQL这一实时流式SQL处理平台在设计和实现中的细节。
2月14日,Apache Flink 官方网站发文对 Blink 贡献回 Flink 项目的意义作进一步说明,并公布了 Blink 和 Flink 的合并计划。
作为 Flink 发明人以及 data-Artisan(Flink 背后商业公司) CEO,Kostas Tzoumas 对于流式处理有深入的见解。文章分为两部分,本篇文章是上半部分有关流式计算核心能力的介绍和探讨。文章考虑到语言文化差异,对于部分较难理解部分加入译者的说明。
本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》,在探讨流式系统方面本书是市面上难得一见的深度书籍,非常值得学习。
从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式
数据治理能否下沉?可以下沉出什么东西?
从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待实时数据处理。
本文介绍了宜信数据中台顶层设计,从中间件工具到平台及案例分析。
本文首先从 Apache Flink 的定义、架构、基本原理入手,对大数据流计算相关的基本概念进行辨析,希望有助于大家厘清大数据流式处理引擎涉及的基本概念,能够更加得心应手地使用 Flink。