在 2025 收官前,看清 Data + AI 的真实走向,点击查看 BUILD 大会精华版 了解详情
写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018-06-27 03:591622
用户头像

发布了 731 篇内容, 共 485.7 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

Go 语言,测试功能详解 - 下

微客鸟窝

Go 语言 11月日更

消息队列表结构设计

guangbao

Pulsar的Chunk Message原理剖析

Zike Yang

Apache Pulsar 11月日更

进击的Java(八)

ES_her0

11月日更

Android C++系列:访问Assets 文件夹

轻口味

c++ android jni 11月日更

Golang Gin 框架参数解析介绍(三)

liuzhen007

11月日更

linux实战清理挖矿病毒kthreaddi

入门小站

Linux

Podman是什么

耳东@Erdong

容器 11月日更 Podman

TypeScript 类型系统

HoneyMoose

版本化ASP.NET Core WebApi

喵叔

11月日更

ThreadPoolExecutor 任务提交原码分析

new life

ThreadPoolExecutor

面对DNS劫持,只能坐以待毙吗?

阿里巴巴云原生

阿里云 云原生 云拨测 DNS劫持 产品活动

16 K8S之容器健康监测

穿过生命散发芬芳

k8s 11月日更

HW3 - 外包学生管理系统架构文档

WWH

架构实战营

TypeScript 是弱类型

HoneyMoose

大数据训练营一期0829作业

朱磊

大数据训练营一期0908作业

朱磊

大数据训练营一期0919作业

朱磊

点进来,与白洞一起体验一场沉浸式智慧轨道之旅

脑极体

你找的网络安全系列书籍,都在这了!

喀拉峻

网络安全 安全 信息安全

【Flutter 专题】06 图解基础【登录】页面并学习相关 Widget

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 11月日更

使用 JavaScript 创建和下载文件

devpoint

JavaScript File Blob 11月日更

在线极限词,敏感词,违禁词查询工具

入门小站

工具

架构训练营 - 模块四

Geek_9de3de

架构实战营

详解低延时高音质:丢包、抖动与 last mile 优化那些事儿

RTE开发者社区

音频体验 RTE技术详解 last mile 优化

KubeMeet 深圳站完整议题出炉!快来 get 云原生边缘计算硬核技术干货

阿里巴巴云原生

阿里云 云原生 边缘计算 KubeMeet 线下活动

flutter开发中vscode插件推荐1

坚果

flutter vscode 11月日更

Apollo选型及优势介绍

小鲍侃java

11月日更

MVCC的机制初识

卢卡多多

MVCC 11月日更

技术改进项目的质量保障思路

QualityFocus

架构 软件测试 自动化测试 质量保障 技术改进

【Promise 源码学习】第九篇 - Promise.resolve 和 Promise.reject 的实现

Brave

源码 Promise 11月日更

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章