2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018-06-27 03:591543
用户头像

发布了 731 篇内容, 共 480.0 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

IP地址和MAC地址都可以确定目标地址,为什么二者都在使用,舍弃一个是否可行?

阿柠xn

Mac IP 网络 协议族 9月月更

SAE 助力贵州酒店集团从容支撑贵州特产抢购

阿里巴巴中间件

阿里云 Serverless 云原生 SAE

【Java深入学习】并发常见方法的注意事项

钟奕礼

Java 面试 java;

阿里云服务器ECS基本操作指南

六月的雨在InfoQ

阿里云 SSH xshell 云服务器ECS 9月月更

组装式交付-云巧 知多少

六月的雨在InfoQ

9月月更 云巧 组装式交付 云巧资产 云巧工坊

时隔一年多 jQuery 再度发布 3.6.1 新版本,你还在用JQ吗?

茶无味的一天

JavaScript 前端 框架 ​jQuery

模块一作业

Geek_1264yp

深入剖析nodejs中间件

coder2028

node.js

2022届秋招Java岗高频面试题盘点,老司机也未必全会,真的太卷了

钟奕礼

Java 面试 java;

数据API开发如何快速上手:先了解什么是数据API生命周期管理

雨果

API 数据api

Java | this和super关键字【深入理解子类和父类的继承关系】

Fire_Shield

super this 9月月更

Java开发5年,复习1个月成功上岸京东物流,面试和复习思路分享

钟奕礼

Java 面试 java;

想从事运维岗位应该学习什么技能?谁能告诉一下?

行云管家

运维 网络运维 IT运维

玩转 Flowable 流程实例

江南一点雨

Java springboot workflow flowable

字节半天*3面/5天拿offer,全凭自身硬实力和这份Java面试笔记

钟奕礼

Java 面试 java;

为什么大数据工程师比数据科学家的需求更大

雨果

数据工程师

LED显示屏价格与品质哪个更重要

Dylan

LED LED显示屏 led显示屏厂家

概述数据交换的构建策略

穿过生命散发芬芳

数据交换 9月月更

总览 Java 容器--集合框架的体系结构

钟奕礼

Java 面试 java;

50道Java集合高频面试题,看完面试成功率99%

钟奕礼

Java 面试 java;

公司用的堡垒机叫什么?多少钱?

行云管家

网络安全 堡垒机 等级保护 过等保

idea 远程开发 client

黄敏

一比一手写迷你版vue,彻底搞懂vue运行机制

hellocoder2029

JavaScript

手写vue-router核心原理

hellocoder2029

Vue

600+ 道 Java面试题及答案整理(建议收藏)

钟奕礼

Java 面试 java; Java 面试题

2022第三届云原生编程挑战赛--Serverless VSCode WebIDE使用体验

六月的雨在InfoQ

Serverless 边缘容器 9月月更 Serverless VSCode WebIDE 线上ide

java基础面试题

钟奕礼

编程 java;

架构实战训练营模块1作业--开启架构之旅

阿姆斯壮

架构实战营 #架构实战营

HTTP - TLS1.3 初次解读

懒时小窝

中心化决议管理——云端分析

字节跳动终端技术

ios 研发效能 CocoaPods 制品库 云化服务

EMQ荣获工信部第五届“绽放杯”5G应用征集大赛智慧金融专题一等奖

EMQ映云科技

5G 物联网 IoT 数智化 9月月更

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章