2天时间,聊今年最热的 Agent、上下文工程、AI 产品创新等话题。2025 年最后一场~ 了解详情
写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018-06-27 03:591574
用户头像

发布了 731 篇内容, 共 482.0 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

万字血书React—走近React

不在线第一只蜗牛

React 教程分享

基于知识图谱的《红楼梦》人物关系可视化及问答系统(含码源):命名实体识别、关系识别、LTP简单教学

汀丶人工智能

人工智能 深度学习 nlp 知识图谱 智能问答

中国大模型的落地DNA,写在这个双螺旋结构里

脑极体

AI

如何优化Flutter的性能?

没有用户名丶

INFINI Labs 产品更新 | Easysearch 新增 kNN 搜索功能、Console 支持 LDAP 认证登录等

极限实验室

console Gateway 产品更新 easysearch 极限科技

户外led显示屏常见规格有哪些

Dylan

广告 屏幕亮度 像素 LED显示屏 户外LED显示屏

Pytorch: 数据读取机制Dataloader与Dataset

timerring

人工智能

Git操作不规范,战友提刀来相见!

树上有只程序猿

深度剖析之由浅入深揭秘JavaScript类型转换(最全总结篇)

Immerse

JavaScript 类型转换 隐式转换 类型 强制类型转换

Kurator v0.4.0版本更新4大内容,满足多云环境的复杂需求

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 7 月 PK 榜

5个祖传的Python自动化办公项目,治愈你的抑郁

程序员晚枫

Python 微信 自动化 机器人 办公

手把手教学构建证券知识图谱/知识库(含码源):网页获取信息、设计图谱、Cypher查询、Neo4j关系可视化展示

汀丶人工智能

人工智能 自然语言处理 nlp 知识图谱

PoseiSwap 更新第二期空投,持有 Zepoch 节点数量将决定空投回报

鳄鱼视界

王海峰最新发声!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

科兴未来|第二届T-MAX“科创太仓”国际创新创业--先进材料专场赛

科兴未来News

飞桨和硬件伙伴们在WAIC 2023!

飞桨PaddlePaddle

人工智能 百度 paddle 飞桨 百度飞桨

几天不写React,已经看不懂语法了

伤感汤姆布利柏

代码随想录训练营 Day09 - 字符串(下)

jjn0703

知识图谱之《海贼王-ONEPICE》领域图谱项目实战(含码源):数据采集、知识存储、知识抽取、知识计算、知识应用、图谱可视化、问答系统(KBQA)等

汀丶人工智能

自然语言处理 知识图谱 信息抽取

区块链生态架构 | 社区征文

TiAmo

区块链 Baas 年中技术盘点

谈谈我这两年的前端开发经验

树上有只程序猿

深入解析Redis的LRU与LFU算法实现

vivo互联网技术

redis LRU LFU

企业内容管理升级 3.0:构建生态协同,助力合规成长

风来兮

软件 电子档案 OCR 合规 #人工智能

智能电视APP鲜时光,如何应用AB测试打造极致的用户观看体验?

字节跳动数据平台

手把手教学构建农业知识图谱:农业领域的信息检索+智能问答,命名实体识别,关系抽取,实体关系查询

汀丶人工智能

人工智能 深度学习 nlp 知识图谱 智能问答

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章