写点什么

Java 内存数据网格 Hazelcast 3.0 支持连续查询和条目处理

  • 2013-10-21
  • 本文字数:2141 字

    阅读完需:约 7 分钟

Java 开源内存数据网格 Hazelcast 的最新版本支持“条目处理(Entry Processing)”、多线程执行、连续查询和延迟索引。Hazelcast 3.0 在两周前的 JavaOne 会议期间发布,体现了该产品自 2008 年创建以来的最大变化,以及改写其 70-80% 的代码所做出的努力。它还使用服务提供程序接口(SPI)重新实现了所有现有的分布式对象,如 Map、Queue 和 ExecutorService 等。

借助多线程执行这一新特性,操作现在可以由多个线程执行(由处理器内核因子确定),这有助于在多核机器上进行扩展。新 SPI 允许开发新的分区服务和数据结构。所有 Hazelcast 数据结构,如 Map、Queue,均使用 SPI 进行了重新实现。

Hazelcast 3 的其它技术特性包括:

条目处理:Hazel cast 3 有一个称为条目处理的新特性,使开发人员可以对 Map 进行快速内存操作,而无须担心锁或并发问题。 EntryProcessor 是一个可以修改或替换映射条目值的接口。它既可以作用在单个映射条目上,也可以作用在所有映射条目上。未来版本还会增加使用 Predicate 选择目标条目的支持,如“查找和替换”。EntryProcessor 可以与 Hazelcast 的另一个新特性一起使用:内存格式设置。在默认情况下,条目值存为字节数组(二进制格式),但当它存为对象(对象格式)时,条目处理器可以直接作用在该对象上。EntryProcessor 的另一个特性是,它可以自动取得映射条目的独占访问,而无须使用同步来防止更新丢失。

序列化:作为现有序列化方法的一种替代方法,Hazelcast 提供了Portable 序列化接口。该接口有许多优点,如相同对象类型的多版本支持和不依赖于反序列化和/ 或反射的查询和索引支持。Hazelcast 还提供了IdentifiedDataSerializable 接口,它是DataSerializable 接口的略微优化版本,不使用类名和反射进行反序列化。Hazelcast 还允许开发人员插入自定义的串行器用于对象序列化。

连续查询:特性允许程序员设置查询,这些查询会在addition/update/remove/evict 事件中的任何数据与其相匹配时触发。这一过程由侦听器完成。侦听器使用查询进行注册,并在Map 条目发生了与查询相匹配的变化时获得通知。在支持诸如复杂事件处理(CEP)这样的情况时,这很有用,而此类情况通常需要单独的产品支持。

延迟索引:借助延迟索引这一新特性,开发人员无须每次在开始阶段就添加索引,而是可以在任何时候为条目添加索引。

分布式事务: Hazelcast 3 支持两阶段提交的分布式事务。新事务API 同时支持1- 阶段(本地)和2- 阶段事务。

InfoQ 就新版本的特性与 Hazelcast 的共同创建者 Fuad Malikov 进行了交谈。

InfoQ:在新版本中增加分布式事务支持的动机是什么?与关系数据库中的 2PC 事务相比,它在内存数据网格中是如何工作的?该特性有什么限制吗?

Fuad我们听取了很多来自社区的建议。Hazelcast 用户要求 Hazelcast 提供 2 阶段提交(2PC)事务的能力。例如,他们希望能够在一个分布式队列中消费一个数据项,对其进行处理,然后将一个条目存入另一个分布式 Map 中。这整个过程需要在一个事务中完成,这样,在节点失败时,才不会丢失未处理的数据。

Hazelcast 是完全的内存解决方案,在默认情况下,它依赖多节点内存复制实现持久性。2PC 的实现也是如此。在准备状态,它就在多个节点上复制事务状态。

另外,Hazelcast 的下一个版本将能够通过 JCA 以及 JMS 和 JDBC 等其它资源参与 XA 事务。

InfoQ:对于 Hazelcast v3 中的连续查询特性,您可以解释下它的工作原理吗?

Fuad在这些特性中,这是另一个使人们认识到内存数据网格不仅仅是缓存的特性。连续查询提供了便利和分布式处理能力这一“存储过程”由来已久的思想,但它与现代复杂事件处理(CEP)模式更为类似。与数据库存储过程不同的是,在 Java 中,连续查询可以保证应用层中应用逻辑的清晰。除此之外,它还具有其它优点,包括有极高的可扩展性,以及能够保证在数据所在的位置对其进行处理,从而使这一过程非常快速和高效。

连续查询的实现结合了 Event 和 Predicate API。Hazelcast 支持 EntryListener,该侦听器监听在 Map 条目上进行的 ADDED、UPDATED、REMOVED 或 EVICTED 等操作。在先前的版本中,它就可以监听所有的 Map 条目或者特定的 Key。除此之外,借助连续查询特性,开发人员可以定义查询(Predicate),而只有更新的条目与该查询匹配时才会触发事件。通过这种方式,侦听器会收到一个基于查询的连续的事件流。

InfoQ:在 Hazelcast 的下一个版本中,有什么开发人员可以期待的新特性和功能增强吗?

Fuad为了创建 Hazelcast 3,它 70-80% 的代码都重写了,这使我们能够支持一些主要架构的模块化。在下一个版本里,其中一个真正令人兴奋的特性是服务提供程序接口(SPI)。我们将 Hazelcast 内部构件分成 Networking、Clustering、Partitioning 和 Service 等四个模块。这些内部构件将暴露为 SPI,因此社区可以对 Hazelcast 进行扩展和开发自定义的分布式数据结构和处理服务。另一个特性是可移植客户端协议。该协议使开发人员可以用任何语言实现客户端。我们会发布 C++ 客户端,并期待由社区来实现其它语言的客户端,如 Python 和 Ruby。

Hazelcast 3 遵循 Apache 2 许可协议,可以从其产品网站上下载。

查看英文原文: Java In-Memory Data Grid Hazelcast 3.0 Supports Continuous Queries and Entry Processing

2013-10-21 01:445719
用户头像

发布了 256 篇内容, 共 100.1 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

Spring高手之路9——掌握Spring条件装配的秘密武器

砖业洋__

spring Spring配置 @Profile @Conditional 条件装配

中移链与BSN分布式云管平台集成,共同构建专属协同体系

BSN研习社

抽象语法树AST必知必会 | 京东物流技术团队

京东科技开发者

前端 AST 抽象语法树 企业号 7 月 PK 榜

免费又好用的MES系统——万界星空MES系统重磅来袭

万界星空科技

开源

一文了解电商大促系统的高可用保障思路 | 京东云技术团队

京东科技开发者

产品 高可用 研发 电商大促 企业号 7 月 PK 榜

Spring高手之路7——事件机制与监听器的全面探索

砖业洋__

spring 观察者模式 事件机制 Spring生命周期 Spring 监听

# **基于TiDB Binlog架构的主备集群切换操作手册**

TiDB 社区干货传送门

实践案例 管理与运维

LigaAI:从效率、度量和价值维度,成为研发团队的智能医生

LigaAI

研发管理 SaaS 研发协作平台 TO B 企业号 7 月 PK 榜

pump 日志错误信息疑问之你的pump 数据被gc了嘛?

TiDB 社区干货传送门

性能调优 实践案例 集群管理 TiDB 源码解读

Ui2Code+ChatGPT助力低代码搭建 | 京东云技术团队

京东科技开发者

低代码 ChatGPT 企业号 7 月 PK 榜 Ui2Code

零基础能学习Java吗,看了这篇文章你就知道!

java易二三

关于互联网产业的一些思考

用友BIP

产业互联网

Spring高手之路8——Spring Bean模块装配的艺术:@Import详解

砖业洋__

@Import 模块装配 Import注解 ImportSelector Spring动态装配

记一次sst文件损坏修复过程

TiDB 社区干货传送门

故障排查/诊断

绘出「星辰大海」:华为云Astro轻应用新手指南-第一章

云计算 华为 开发者 华为云

企业数智化底座赋能国资国企数智监管

用友BIP

数智底座 国资国企

Spring高手之路5——彻底掌握Bean的生命周期

砖业洋__

Spring Bean Spring Bean生命周期 @PostConstruct InitializingBean DisposableBean

Spring高手之路6——Bean生命周期的扩展点:BeanPostProcessor

砖业洋__

spring ioc BeanPostProcessor Bean生命周期扩展点 后置处理器

全球LED显示屏市场机遇与挑战

Dylan

封装 芯片 LED显示屏 体育 全球

O-Star | 矩阵起源2023届校招生入职啦~

MatrixOrigin

数据库 云原生 HTAP MatrixOrigin MatrixOne

矩阵起源通过ISO 三大体系认证!

MatrixOrigin

数据库 超融合 HTAP MatrixOrigin MatrixOne

Spring高手之路4——深度解析Spring内置作用域及其在实践中的应用

砖业洋__

spring Singleton prototype Spring作用域 Spring原型作用域

倒计时 1 天!21 位大咖 11个议题,龙蜥社区走进 Intel MeetUp 即将在上海召开

OpenAnolis小助手

操作系统 芯片 intel Meetup 龙蜥社区

日增320TB数据,从ClickHouse迁移至ByConity后,查询性能十分稳定!

字节跳动开源

大数据 开源 云原生 Clickhouse 数仓

用 Generative AI 构建企业专属的用户助手机器人

TiDB 社区干货传送门

绘出「星辰大海」:华为云Astro轻应用新手指南-第二章

云计算 开发者 软件开发 华为云

装备制造行业数智人力应从何入手?超实用干货来了!

用友BIP

人力资源

7.25齐聚西安!助推国资国企建设一流司库管理体系

用友BIP

全球司库 国资国企

Java内存数据网格Hazelcast 3.0支持连续查询和条目处理_Java_Srini Penchikala_InfoQ精选文章