“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2018-06-27 03:59951
用户头像

发布了 731 篇内容, 共 432.0 次阅读, 收获喜欢 1996 次。

关注

评论

发布
暂无评论
发现更多内容

什么是接口的幂等性,如何实现接口幂等性?,mongodb实战第二版下载

Java 程序员 后端

从一道 LRU 算法题说到缓存淘汰策略,Java常用面试集合

Java 程序员 后端

以前不知道字节面试难在哪,现在体验到了,被虐的很惨

Java 程序员 后端

产品经理必懂的技术那点事儿(中),mybatis基本工作原理

Java 程序员 后端

000|发刊词:与技术世界保持链接

棒棒彬👻

技术 知识分享

什么?我往Redis写的数据怎么没了?,java自学教程百度文库

Java 程序员 后端

从源码的角度搞懂Java代理模式,那些面试中你最容易忽略的细节

Java 程序员 后端

今日头条一面:十道经典面试题解析,我的腾讯Java面试经历分享

Java 程序员 后端

从月薪10K不到,到面进阿里拿40K+offer,java类加载器原理

Java 程序员 后端

云小课 | 使用ROMA API,API管理从此不用愁!

华为云开发者联盟

API 华为云 ROMA API全生命周期管理 ROMA API

从 Java 到 Scala,再到 Kotlin,java面试知识点太多

Java 程序员 后端

从腾讯T3-3大佬手上获得的Java架构进阶PDF文档,图文并茂,真香

Java 程序员 后端

【Flutter 专题】22 图解 PopupMenu 那些事儿

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 11月日更

京东4面(Java研发):事务隔离,java程序设计案例教程机械工业出版社

Java 程序员 后端

什么是服务网格?,P8级别的顶级“并发编程”宝典

Java 程序员 后端

今年面试大厂屡屡失败,一波三折最终入职拼多多java岗,我经历啥

Java 程序员 后端

从国企到互联网,程序员六年四段经历,一份被很多 HR 刷掉的简历

Java 程序员 后端

从0到1,阿里巴巴定制版的JVM高手实战清单!深度广度环环相扣

Java 程序员 后端

五、redis配置信息以及常用命令,java语言程序设计基础篇第十一版pdf

Java 程序员 后端

五位阿里大牛联手撰写的《深入浅出Java多线程》

Java 程序员 后端

五分钟!搞懂 MySQL主从复制原理,还不会算我输

Java 程序员 后端

什么会导致Java应用程序的CPU使用率飙升?,spring快速入门教程

Java 程序员 后端

001|看!Swift 与 C++ 的交互性

棒棒彬👻

swift 编程语言 CocoaPods 编译优化

Vue进阶(幺伍玖):动态样式设置

No Silver Bullet

Vue 样式设置 11月日更

从外卖员到程序员,自学3年终于转行成功,三面

Java 程序员 后端

从月薪 1000 到 2W+,文科生如何逆袭成为大厂程序员

Java 程序员 后端

代码简洁之道--笔记,netty架构原理图

Java 程序员 后端

五分钟搞懂spring-cloud-square,linux服务器开发需要的技术

Java 程序员 后端

京东热-key-探测框架新版发布,单机-QPS-可达-35-万

Java 后端

今日头条一面:十道经典面试题解析(1),阿里巴巴java面试几轮

Java 程序员 后端

从JVM锁到Redis分布式锁,对小白十分友好,java最新技术栈百度网盘

Java 程序员 后端

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章