写点什么

Apache Pulsar 2.0 支持模式注册表和主题压缩

  • 2018-06-27
  • 本文字数:1070 字

    阅读完需:约 4 分钟

最新版本的开源分布式消息传递框架 Apache Pulsar 让企业能够实时处理数据,从而“超越了批次处理”。 Streamlio 最近宣布推出 Apache Pulsar 2.0.1 流式消息解决方案。最新版本支持 Pulsar Function、模式注册表和主题压缩。

新版本的其他特性包括:

Pulsar Function:今年早些时候首次发布了这个原生流式处理能力的预览版。 Pulsar Function 是一种轻量级的计算进程,在数据流经 Pulsar 的时候,可直接用使用它们对数据进行变换和分析,无需借助外部系统或附件。每次有消息被发布到输入主题时,都会执行 Function。

模式注册表模式注册表为开发人员提供定义和验证流经Pulsar 的数据的结构和完整性的能力,简化了数据驱动应用程序的开发。它提供了一个内置的注册表,让客户端可以基于主题上传数据模式。这些模式用于确定哪些数据类型对该主题是有效的。模式注册表当前仅适用于 Java 客户端

主题压缩:Pulsar 使用 Apache Bookkeeper 保存流式数据,这一改进提升了存储性能。主题压缩是一个运行在Pulsar broker 上的进程,用于为主题中的每个键创建最新值的快照。主题压缩进程读取主题的积压消息,只保留每个键的最新值。它是非破坏性的,所以原始积压消息仍然可供用户使用。用户可以通过REST 端点手动触发它来控制何时进行主题压缩。

InfoQ 采访了 Streamlio 联合创始人和 Pulsar 架构师兼首席开发者 Matteo Merli,谈到了 Pulsar 架构及其产品路线图。

InfoQ:Pulsar 与其他消息框架相比如何?

Matteo Merli:与其他许多框架一样,Pulsar 提供了可以通过各种客户端进行访问的分布式消息传递能力。Pulsar 能够满足现代基于数据驱动的应用程序和数据分析的要求,却没有其他框架的成本和复杂性。更具体地说,这些功能包括更好的吞吐量和更低的延迟、可扩展性、原生流式函数处理以及对发布订阅消息和消息队列、多数据中心复制、安全和资源管理的支持。

InfoQ:Pulsar 的产品路线图是怎样的?即将推出哪些功能?

Merli:作为一个开源项目,Apache Pulsar 路线图是由 Pulsar 社区的贡献者和用户共同决定的。预计当前开发的版本很快会发布,包括对其他访问接口的支持、一组新的数据源和存储库连接器、增强的多层存储能力以​​及更多受支持的模式格式。

Pulsar 团队上周发布了 2.0.1 版本,其中包括对 PyPI 上的 Python 包以及由 Pulsar 代理提供的 REST API 的修复。有关新版本的更多信息,请查看 Pulsar 网站上的发行说明

查看英文原文 Distributed Messaging Framework Apache Pulsar 2.0 Supports Schema Registry and Topic Compaction

2018-06-27 03:591504
用户头像

发布了 731 篇内容, 共 477.4 次阅读, 收获喜欢 2008 次。

关注

评论

发布
暂无评论
发现更多内容

首批通过!柏睿数据旗下数据库产品获强制性国标最高级别认证

新消费日报

生成式AI:全球科技革命的驱动力

百度开发者中心

教育 #人工智能 ChatGPT 生成式AI

华为云GaussDB打造最可信的数据库,给世界一个更优选择

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 8 月 PK 榜

ETL 小技巧:文件输出插件数据写入空闲时间阈值配置及作用

大河

缓冲区 ETL bboss 文件输出

几款常用基于Web的组态编辑器

2D3D前端可视化开发

物联网 web组态 web组态软件 组态可视化 web组态编辑器

第三周作业

大肚皮狒狒

​Elastic Stack最佳实践系列:Beats->ES,一个更轻型的架构选择

腾讯云大数据

ES

Easysearch 跨集群复制实战

极限实验室

easysearch

社交语聊平台运营,需要哪些资质?语聊APP原生开发和混合uniapp开发的利弊分析

山东布谷科技胡月

语音聊天系统软件开发 语音直播平台开发 语音聊天室开发 语音程序源码 社交直播APP开发

一张图读懂TuGraph Analytics开源技术架构

TuGraphAnalytics

大数据 分布式 流计算 图计算 流图

头脑风暴小工具-影响地图

Bruce Talk

敏捷开发 Agile Product Owner 影响地图

软件测试|人工智能如何帮助测试工程师解决问题?

霍格沃兹测试开发学社

软件测试|如何使用ChatGPT生成思维导图

霍格沃兹测试开发学社

九科信息成功签约中交房地产集团有限公司RPA项目

九科Ninetech

生成式AI:内容创作新革命

百度开发者中心

自然语言处理 内容 #人工智能 文心一言

生成式AI引领未来传媒业发展趋势

百度开发者中心

媒体 #人工智能 生成式AI 文心一言

和鲸 × 临床医学丨“人”作为一生命体在 AI for Science 过程中的作用与交互

ModelWhale

数据科学 临床医学 AI for Science 交叉学科 临床研究

Last Week in Milvus

Zilliz

非结构化数据 开源社区 Milvus Zilliz 向量数据库

一文看懂:小程序游戏需要版号吗?

FN0

又一可视化低代码神器!云耀云服务器L实例正式发布

mecchi

软件开发 云主机 云服务器 博客搭建

常用的国内外组态软件推荐

2D3D前端可视化开发

物联网 组态软件 工业组态软件 web组态软件 SCADA

FuncGPT(慧函数)教你用Mybatis进行一对一查询映射处理

飞算JavaAI开发助手

低成本生成式AI技术:推动AI普及的关键

百度开发者中心

医疗 #人工智能 ChatGPT 文心一言

《守望先锋 2》性能提升高达33%!英特尔锐炫从未止步

E科讯

电脑硬件迭代快,对仿真软件有什么影响?

智造软件

仿真软件 电脑硬件 结构仿真 电脑配置 硬件配置

生成式AI助力高效写作

百度开发者中心

大模型 #人工智能 ChatGPT 生成式AI

加入DevRun软件开发流水线实战营,即刻开启你的职场竞争力之旅!

科技热闻

Apache Pulsar 2.0支持模式注册表和主题压缩_大数据_Srini Penchikala_InfoQ精选文章