写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

2018 年 6 月 27 日

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018 年 6 月 27 日 03:59526
用户头像

发布了 731 篇内容, 共 368.2 次阅读, 收获喜欢 1859 次。

关注

评论

发布
暂无评论
发现更多内容

数据中心架构设计比较

java-时间的使用

建安

Java android SpringBoot 2

可能是Java Stream的最佳实践(一)

ES_her0

28天写作

话题讨论 | 如何看待公司发开工红包?

happlyfox

话题讨论 28天写作 2月春节不断更 话题王者 红包

带你快速了解Flutter的发展和应用

anyRTC开发者

flutter 音视频 WebRTC 跨平台 sdk

Java 集合处理/ 空值处理/ 异常处理,使用心得分享!

brother ben

python与c++区别之print

沈阳

Idea快捷键操作

刘大明

IDEA

设计模式之代理模式

Geek_7cf491

Java 设计模式 代理模式

以AI之名 | 给千万级合同管理安上“AI”,华为商务经理工作量大解放!

华为云开发者社区

人工智能 华为 合同 商务 合同管理

我与声网Agora

june

Elasticsearch入门,这一篇就够了

知南茶温暖

CPU高速缓存与极性代码设计

华为云开发者社区

缓存 数据 cpu 存储

BFF (Backend for frontend)避坑指南

码猿外

架构 微服务 BFF

流批一体生产应用!Bigo 实时计算平台建设实践

Apache Flink

flink

浅谈Python中遇到extend和append,该怎么区别使用

莫陌默

Python 列表 函数

程序员成长第十五篇:编码的注意事项

石云升

程序员成长 28天写作 2月春节不断更

c语言简介

Geek_f510ff

c C语言

数据驱动业务增长的底层逻辑2.0

风巽沐兮@

产品 数据分析 运营 业务增长

华为云PB级数据库GaussDB(for Redis)解析第二期:Redis消息队列Stream的应用探讨

华为云开发者社区

数据库

算力平台软件开发|算力平台系统APP开发

开發I852946OIIO

系统开发

cobra-强大的CLI应用程序库

happlyfox

golang GitHub cli 28天写作 2月春节不断更

kafka consumer group

Eric

基于matlab的控制系统与仿真3-根轨迹、bode图、Nyquist图

AXYZdong

matlab 2月春节不断更

字节码角度分析i++和++i的区别

现实中游走

Java 字节码

2019年度CMMI V2.0性能报告

渠成CMMI

产品 项目管理 性能 质量 CMMI

Mybatis association关联查询

フェイト ゼロ

区块链溯源系统开发解决方案,区块链应用底层平台搭建

WX13823153201

区块链溯源系统开发

Windows下JMeter分布式压测环境搭建

行者AI

Jmeter

Spark Shuffle 内部机制(三)

hanke

大数据 spark 数据 开源框架

新病毒兼容M1芯片,已经感染3万台Mac

Geek_b0cff7

Hummer 轻量级跨端技术框架详解及实战

Hummer 轻量级跨端技术框架详解及实战

Apache Pulsar 2.0支持模式注册表和主题压缩-InfoQ