写点什么

流式处理

收录了 流式处理 频道下的 49 篇内容

为应用程序选择合适的流式处理器

与传统的批处理数据相比,流式处理器是一种软件平台,用户可以更快地响应传入的数据流。在本文中,作者讨论了流式处理器参考架构、大多数流式应用程序所需的关键特性以及如何根据特定用例选择合适的流式处理器。

从批处理 ETL 到流式处理:一个来自 Netflix 的案例

在2017年的纽约QCon大会上,Shriya Arora呈现了“Personalizing Netflix with Streaming Datasets”的演讲,分享了Netflix的一个数据作业迁移案例,他们使用Flink替代了原先基于批处理的ETL。

在容器化环境中扩展分布式流式处理器
在容器化环境中扩展分布式流式处理器

本文介绍了我们在Kubernetes中扩展分布式流处理器的经验。流处理器应该支持维护最佳的并行性。然而,添加更多的资源会带来额外的成本,但却不能保证性能的提升。

Wormhole 流式处理平台设计思想
Wormhole 流式处理平台设计思想

本文是敏捷大数据(Agile BigData)背景下的实时流式处理平台Wormhole的开篇介绍。

Wormhole流式处理平台功能介绍
Wormhole 流式处理平台功能介绍

主要从Wormhole的功能设计入手,重点介绍Wormhole所支持的几个基本功能。

GPU 支持的 Amazon AppStream 2.0 流式处理实例
GPU 支持的 Amazon AppStream 2.0 流式处理实例

我们在 re:Invent 2016 发布了 Amazon AppStream 2.0。

Data Artisans 发布支持 ACID 事务的流式处理框架 Streaming Ledger

data Artisans宣布推出Streaming Ledger,它扩展了Apache Flink,提供了跨表、键和事件流执行可序列化ACID事务的功能。这项正在申请专利的技术是Flink的专有附加技术,超越了当前一次只能在一个键上实现一致性的标准。

Jeff Bean谈Flink与流式处理的5大新发现
Jeff Bean 谈 Flink 与流式处理的 5 大新发现

在大数据领域工作了近8年后,今年秋天,作为data Artisans的技术布道师,我在Apache Flink社区变得越来越活跃。

Palo Alto Networks如何用ScyllaDB取代Kafka进行流式处理
Palo Alto Networks 如何用 ScyllaDB 取代 Kafka 进行流式处理

我们提升了系统性能,从而降低了运营成本。

流式数据处理在百度数据工厂的应用与实践
流式数据处理在百度数据工厂的应用与实践

百度数据工厂以 Spark 为基础提供了流批一体的大数据分析解决方案,流式数据处理在里面承担了其中的实时计算和实时与离线转换功能。流式数据处理不仅提供了流批统一 SQL 引擎、流批统一 META 管理和实时落数仓等技术支持,还提供了流式数据处理的一体化平台,提供流式数据处理的提交、运维、监控等能力。

Serverless Streaming:毫秒级流式大文件处理探秘
Serverless Streaming:毫秒级流式大文件处理探秘

Serverless 工作流用于将函数编排为协调的微服务应用程序。

Rheos SQL: 高效易用的实时流式SQL处理平台
Rheos SQL: 高效易用的实时流式 SQL 处理平台

本文介绍Rheos SQL这一实时流式SQL处理平台在设计和实现中的细节。

官宣!阿里Blink和Flink合并计划出炉
官宣!阿里 Blink 和 Flink 合并计划出炉

2月14日,Apache Flink 官方网站发文对 Blink 贡献回 Flink 项目的意义作进一步说明,并公布了 Blink 和 Flink 的合并计划。

容错和高性能如何兼得: Flink 创始人谈流计算核心架构演化和现状

作为 Flink 发明人以及 data-Artisan(Flink 背后商业公司) CEO,Kostas Tzoumas 对于流式处理有深入的见解。文章分为两部分,本篇文章是上半部分有关流式计算核心能力的介绍和探讨。文章考虑到语言文化差异,对于部分较难理解部分加入译者的说明。

大数据凉了?不,流式计算浪潮才刚刚开始

本文重点讨论了大数据系统发展的历史轨迹,行文轻松活泼,内容通俗易懂,是一篇茶余饭后用来作为大数据谈资的不严肃说明文。本文翻译自《Streaming System》最后一章《The Evolution of Large-Scale Data Processing》,在探讨流式系统方面本书是市面上难得一见的深度书籍,非常值得学习。

如何设计实时数据平台(下篇)
如何设计实时数据平台(下篇)

从技术角度入手,介绍RTDP的技术选型和相关组件,探讨适用不同应用场景的相关模式

宜信卢山巍:数据中台的“自动化数据治理”时代已来
宜信卢山巍:数据中台的“自动化数据治理”时代已来

数据治理能否下沉?可以下沉出什么东西?

如何设计实时数据平台(上篇)
如何设计实时数据平台(上篇)

从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数据处理角度看待实时数据处理。

数据中台:宜信敏捷数据中台建设实践
数据中台:宜信敏捷数据中台建设实践

本文介绍了宜信数据中台顶层设计,从中间件工具到平台及案例分析。

Apache Flink零基础入门(一):基础概念解析
Apache Flink 零基础入门(一):基础概念解析

本文首先从 Apache Flink 的定义、架构、基本原理入手,对大数据流计算相关的基本概念进行辨析,希望有助于大家厘清大数据流式处理引擎涉及的基本概念,能够更加得心应手地使用 Flink。

流式处理专题_资料-InfoQ中文网