东亚银行、岚图汽车带你解锁 AIGC 时代的数字化人才培养各赛道新模式! 了解详情
写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-06-27 03:59964
用户头像

发布了 731 篇内容, 共 433.4 次阅读, 收获喜欢 1997 次。

关注

评论

发布
暂无评论
发现更多内容

微信红包后台系统可用性设计实践

Johnny

【愚公系列】2022年10月 Go教学课程 028-函数小结案例(通讯录)

愚公搬代码

10月月更

容量管理的三个层次

阿泽🧸

10月月更 容量管理

微信红包体系设计分析

Johnny

cstdio的源码学习分析10-格式化输入输出函数fprintf---宏定义/辅助函数分析02

桑榆

源码刨析 10月月更 C++

你对“低代码”存在哪些误解?

优秀

低代码

Baklib分享|知识管理是企业发展的风向标

Baklib

如何“阅读”数学?:上海顶尖中学学生的阅读笔记

图灵社区

数学 青少年

Baklib|构建在线客户服务,产品知识库至关重要

Baklib

当 WASM 遇见 eBPF:使用 WebAssembly 编写、分发、加载运行 eBPF 程序 | 龙蜥技术

OpenAnolis小助手

开源 操作系统 内核 ebpf Wasm

如何“阅读”数学?:上海顶尖中学学生的阅读笔记

图灵教育

数学 青少年

一文彻底搞懂IP地址到底是什么?

呆呆ら

层出不穷的机器学习框架到底在“卷”什么?

小红书技术REDtech

机器学习

企业号十月PK榜,年度榜单倒计时开始!

InfoQ写作社区官方

企业号十月PK榜

Milvus 2.1 版本更新 - 简单可信赖、性能持续提升

Zilliz

人工智能 开源项目 Milvus 版本更新 向量数据库

【10.7-10.14】写作社区优秀技术博文一览

InfoQ写作社区官方

优质创作周报

面向对象之方法重载

魏铁锤

10月月更

【从0到1学算法】4.Bubble Sort算法-上

Geek_65222d

10月月更

图解ReentrantLock公平锁和非公平锁实现

JAVA旭阳

Java 并发 10月月更

「CSS畅想」自动打字效果,默写首诗来读读

叶一一

JavaScript 前端 10月月更

Baklib分享|提高工作效率,在线协作文档

Baklib

DDC SDK的整体设计流程

BSN研习社

微信红包实现原理

Johnny

Vue 中const 命令

默默的成长

前端 Vue 3 10月月更

深入浅出理解Java并发AQS的独占锁模式

JAVA旭阳

Java 并发 10月月更

leetcode 146. LRU Cache LRU 缓存 (简单)

okokabcd

LeetCode 数据结构与算法

「小程序开发」关于网页与小程序的通信

叶一一

前端 小程序开发 10月月更

「CSS畅想」定时+随机,开启今日上上签

叶一一

JavaScript 前端 10月月更

Vue 2x 中使用 render 和 jsx 的最佳实践 (1)

默默的成长

Vue 前端 10月月更

Baklib|关于帮助中心需要注意的一些细节

Baklib

三步玩转:如何通过Flink OceanBase CDC连接器快速查询数据

OceanBase 数据库

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章