写点什么

大规模 Neo4j 集群中的因果一致性

  • 2017-04-19
  • 本文字数:1084 字

    阅读完需:约 4 分钟

在 QCon 2017 伦敦大会上,Neo4J Technology 首席科学家 Jim Webber 介绍了 Neo4J 是如何实现因果一致性的。他的演讲内容包括:高层概览Neo4J 集群的架构、使用 Raft 实现共识机制,以及用于实现“写后读”(RAW,read-after-write)一致性的“书签”(Bookmarking)模式。

据 Webber 介绍,为将集群问题分而治之,Neo4J 提供了两类角色不同的节点,分别称为核心(Core)节点和只读(Read)节点。在集群中,核心节点用于写操作,并提供了集群的持久性保证。只读节点是核心集群的只读异步副本,实现在“多读少写”(Read-heavy)负载场景下的扩展。

,Webber 进一步介绍了为达成持久性保证,核心节点是如何实现 Raft 共识算法的。一旦一个事务写入到一个核心节点,Raft 就会对事务做日志,并将事务到复制到集群中所有其余的核心节点。Raft 并非等待事务被完全复制,而是等待大多数选举(Majority Vote),这足以保证写操作的持久性。

Webb 还介绍了 Raft 在性能上和弹性上的优点。对于性能而言,Raft 只需等待大多数复制,因此阻塞的时间更短,进而降低了查询延迟。从弹性的角度看,即使一些节点故障,只要大多数依然可以选举,核心集群就仍然正常工作。

Webber 对 Raft 和 Paxos 做了比较,Raft 相对更简单,而且更易于实现,这就是 Neo4J 选择 Raft 的原因。他认为 Raft 降低了软件故障出现的可能性,提高了应用的可维护性。

据 Webber 介绍,图数据库通常是一类“多读少写”的数据库。即使在写操作期间,也必须读取和遍历图数据。这就是在 Neo4J 集群中通常只读节点要多于核心节点的原因。因为只读节点不参与共识提交,这意味着只读节点适用于自动扩展,并且更易于按需部署或调配。

考虑到事务是被异步复制到只读节点的,Webber 给出了一个简单应用场景,对此机制进行了展示。如果用户需要在创建数据后就立刻读取它们,即便写操作具有持久性保证,但还是有可能无法发现这些数据。这是由于数据是最终一致的,可能数据尚未复制到被查询的节点上。

要解决这一“写后读”一致性问题,Webber 介绍了 Neo4J 中提供的一种因果一致性模式,称为“书签”。

书签模式的第一阶段包含一次写操作,写操作完成后将返回相应的事务标识给客户端。第二阶段是一次读操作,客户端在查询中发送事务的标识。通过使用事务标识,被读取的节点将可以阻塞给定的事务。

Webber 用一个代码例子展示了书签模式,强调了在他看来,实现书签模式是非常简单的。在这个例子中,客户端接收一个事务标识,然后传递给此后的查询。

要了解更多的细节,可以从此处在线完整观看该演讲。Webber 还推荐阅读一下Raft 的论文

查看英文原文: Causal Consistency for Large Neo4j Clusters

2017-04-19 19:002467
用户头像

发布了 227 篇内容, 共 81.7 次阅读, 收获喜欢 28 次。

关注

评论

发布
暂无评论
发现更多内容

ZigBee3.0 节点入网流程分析

taox

网络协议

物联网技术栈之网关技术

老任物联网杂谈

物联网网关

如何快速更改qcow2镜像文件

奔跑的菜鸟

云计算

高仿瑞幸小程序 08 创建第一个云函数

曾伟@喵先森

小程序 微信小程序 大前端 移动

由纪念日想到杨德昌

Elizen

随笔 电影

线程通信知识点扫盲!

Simon郎

Java 后端 多线程

游戏夜读 | 关卡设计为什么难?

game1night

回顾经典,Netflix的推荐系统架构

王喆

人工智能 学习 推荐系统 netflix

全面解读信创行业 关注国产操作系统

统小信uos

操作系统

全球经济动荡下,超流币逆袭而来!

极客编

原创 | 使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (六)测试哪些内容:Right-BICEP

编程道与术

Java 编程 软件测试 TDD 单元测试

怀念小时候吗?

安静的下雪天

个人感想

Tomcat安全配置

wong

Tomccat security

前浪的经验:区块链软件,一定也要去中心化

WasmEdge

比特币 区块链 智能合约 以太坊 加密货币

故障的传播方式与隔离办法

Wales Kuo

油管博主路透 3080Ti 参数、黄教主烤箱中拿出 DGX A100 预热发布会

神经星星

人工智能 互联网巨头 gpu 互联网 英伟达

选择适合自己的 OLAP 引擎

程序员小陶

大数据 开源 OLAP

AtomicStampedReference是怎样解决CAS的ABA问题

捉虫大师

Java

ThreadLocal到底会不会内存泄漏?实战直接告诉你答案!

刘超

Java 多线程 ThreadLocal

一杯茶的时间,上手 React 框架开发

图雀社区

Reac

终于有一款组件可以全面超越Apache POI

葡萄城技术团队

前后端分离 服务端 GrapeCity Documents

谈谈控制感(3):让孩子更好地成长

史方远

心理学 控制感 教育

一文读懂阿里云通信的产品体系、技术架构与智能化应用场景实践

阿里云Edge Plus

人工智能 云通信 短信 语音 智能联络中心

需求是被挖掘还是被创造出来的?

Neco.W

产品 互联网 需求

什么是工作

史方远

随想 工作

我为什么要开启InfoQ写作

Nick

初探Electron,从入门到实践

葡萄城技术团队

大前端 Electron SpreadJS

Flink Weekly | 每周社区动态更新

Apache Flink

大数据 flink 流计算 实时计算

Android10版本引发的生产故障及安全知识归纳

大刘

android https TLS 加解密

定在下午面试的那位候选人,说他不来了

Geek_6rptuk

团队管理 面试 简历优化 招聘

猿灯塔-Phaser 使用介绍

猿灯塔

大规模Neo4j集群中的因果一致性_架构_Andrew Morgan_InfoQ精选文章