写点什么

Apache Pulsar 2.0支持模式注册表和主题压缩

2018 年 6 月 27 日

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018 年 6 月 27 日 03:59466
用户头像

发布了 731 篇内容, 共 360.7 次阅读, 收获喜欢 1829 次。

关注

评论

发布
暂无评论
发现更多内容

week5 conclusion 分布式缓存架构+消息队列

J

极客大学架构师训练营

便民服务多元化,智慧平安小区安防智能化建设

t13823115967

智慧城市

浅谈数据仓库质量管理规范

数据社

数据仓库 数据质量管理 七日更

25道mybatis面试题,不要说你不会

田维常

mybatis

观察者模式

soolaugust

设计模式 观察者模式 七日更

数字货币交易所系统开发,区块链交易所搭建

薇電13242772558

区块链 数字货币

iOS面试基础知识 (五)

iOSer

ios 大厂面试 iOS面试 面试题总结 底层知识

小程序市场的「App Store」来了!你准备好吃“螃蟹”了吗?

蚂蚁集团移动开发平台 mPaaS

小程序生态 mPaaS appstore

盘点 2020 |协作,是另外一种常态

Winfield

领域驱动设计 DDD 协作 远程协作 盘点2020

如何从危机中提炼总结,做好2020年的复盘?

CECBC区块链专委会

复盘 经济

双循环背景下的全球供应链机遇与挑战

CECBC区块链专委会

供应链物流

XDAG技术详解1

老五

智慧平安社区建设解决方案,小区安防预警平台搭建

WX13823153201

智慧平安社区建设

为什么要在以太坊上构建去中心化缓存层?到底要怎样做呢?

CECBC区块链专委会

以太坊

Native 与 JS 的双向通信

Minar Kotonoha

json处理

Isuodut

AOFEX交易所APP系统开发|AOFEX交易所软件开发

开發I852946OIIO

系统开发

Locust快速上手指南

行者AI

智慧公安大数据研判分析系统解决方案智慧警务平台搭建

13530558032

区块链商品溯源解决方案,区块链全程追溯系统

13530558032

平安社区平台解决方案,智慧社区管理服务平台搭建

13530558032

规划算法

田维常

算法

云原生应用开发框架Quarkus介绍

gaolk

云原生 Quarkus

微警务平台搭建,智慧警务系统开发解决方案

t13823115967

智慧警务系统开发 微警务

5年Java高工经验,我是如何成功拿下滴滴D7Offer的?

Java架构追梦

Java 学习 架构 面试 滴滴

高光时刻!美团推出Spring源码进阶宝典:脑图+视频+文档

996小迁

spring 源码 架构 笔记

接口自动化传值处理

行者AI

我的 500 张技术配图是怎么画的?

小林coding

程序人生 画图软件

排查指南 | mPaaS 小程序被卡在了三个蓝点

蚂蚁集团移动开发平台 mPaaS

小程序 问题排查 mPaaS

jenkins实现接口自动化持续集成(python+pytest+ Allure+git)

行者AI

接口自动化测试的实现

行者AI

2021年,算法还“香”吗?

2021年,算法还“香”吗?

Apache Pulsar 2.0支持模式注册表和主题压缩-InfoQ