【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

如何将 Redis 用于微服务通信的事件存储

  • 2019-12-09
  • 本文字数:1968 字

    阅读完需:约 6 分钟

如何将 Redis 用于微服务通信的事件存储

以我的经验,将某些应用拆分成更小的、松耦合的、可协同工作的独立逻辑业务服务会更易于构建和维护。这些服务(也被称为微服务)各自管理自己的技术栈,因此很容易独立于其他服务进行开发和部署。前人已经总结了很多关于使用这种架构设计的好处,在此我就不再赘述了。关于这种设计,有一个方面我一直在重点关注,因为如果没有它,将会导致一些有趣的挑战。


虽然构建松耦合的微服务是一个非常轻量级和快速的开发过程,但是这些服务之间共享状态、事件以及数据的通信模型却不那么简单。我使用过的最简单的通信模型就是服务间直接通信,但是这种模型被 Fernando Dogio 明确地证明一旦服务规模扩大就会失效,会导致服务崩溃、重载逻辑以及负载增加等问题,从而可能引起的巨大麻烦,因此应该尽量避免使用这种模型。还有一些其他通信模型,比如通用的发布/订阅模型、复杂的 kafka 事件流模型等,但是最近我在使用 Redis 构建微服务间的通信模型。

拯救者 Redis!

微服务通过网络边界发布状态,为了跟踪这种状态,事件通常需要被保存在事件存储中。由于事件通常是一种异步写入操作的不可变流的记录(又被称为事务日志),因此适用于以下场景:


  1. 顺序很重要(时间序列数据)

  2. 丢失一个事件会导致错误状态

  3. 回放状态在任何给定时间点都是已知的

  4. 写操作简单且快捷

  5. 读操作需要更多的时间,以至于需要缓存

  6. 需要高可扩展性,服务之间都是解耦的,没有关联


使用 Redis,我始终可以轻松实现发布-订阅模式。但现在,Redis 5.0 提供了新的 Streams 数据类型,我们可以以一种更加抽象的方式对日志数据结构进行建模-使之成为时间序列数据的理想用例(例如最多一次或最少一次传递语义的事务日志)。基于双主功能,轻松简单的部署以及内存中的超快速处理能力,Redis 流成为一种管理大规模微服务通信的必备工具。


基本的模型被称为命令查询职责分离(CQRS),它将命令和查询分开执行,命令使用 HTTP 协议,而查询采用 RESP(Redis 序列化协议)。


让我们使用一个例子来说明如何使用 Redis 作为事件存储。

OrderShop 简单应用概述

我创建了一个简单但是通用的电子商务应用作为例子。当创建/删除客户、库存物品或订单时,使用 RESP 将事件异步传递到 CRM 服务,以管理 OrderShop 与当前和潜在客户的互动。像许多常见应用程序的需求一样,CRM 服务可以在运行时启动和停止,而不会影响其他微服务。这需要捕获在其停机期间发送给它的所有消息以进行后续处理。


下图展示了 9 个解耦的微服务的互连性,这些微服务使用由 Redis 流构建的事件存储进行服务间通信。他们通过侦听事件存储(即 Redis 实例)中特定事件流上的任何新创建的事件来执行此操作。



图 1. OrderShop 架构


我们的 OrderShop 应用程序的域模型由以下 5 个实体组成:


  • 顾客

  • 产品

  • 库存

  • 订单

  • 账单


通过侦听域事件并保持实体缓存为最新状态,事件存储的聚合功能仅需调用一次或在响应时调用。



图 2. OrderShop 域模型

安装并运行 OrderShop

按照如下步骤安装并运行 OrderShop 应用:


  1. 从这里下载代码仓库:https://github.com/Redislabs-Solution-Architects/ordershop

  2. 确保已经安装了 Docker Engine 和 Docker Compose

  3. 安装 Python3:https://python-docs.readthedocs.io/en/latest/starting/install3/osx.html

  4. 使用 docker-compose up 启动应用程序

  5. 使用 pip3 install -r client / requirements.txt 安装需求

  6. 然后使用 python3 -m unittest client / client.py 执行客户端

  7. 使用 docker-compose stop crm-service 停止 CRM 服务

  8. 重新执行客户端,您会看到该应用程序正常运行,没有任何错误

深入了解

以下是来自 client.py 的一些简单测试用例,以及相应的 Redis 数据类型和键。



我选择流数据类型来保存这些事件,因为它们背后的抽象数据类型是事务日志,非常适合我们连续事件流的用例。我选择了不同的键来分配分区,并决定为每个流生成自己的条目 ID,ID 包含秒“-”微秒的时间戳(为了保持 ID 的唯一,并保留了键/分区之间事件的顺序)。


我选择集合来存储 ID(UUID),并选择列表和哈希来对数据建模,因为它反映了它们的结构,并且实体缓存只是域模型的简单投影。

结论

Redis 提供的各种数据结构-包括集合,有序集合,哈希,列表,字符串,位数组,HyperLogLogs,地理空间索引以及现在的流-可以轻松适应任何数据模型。流包含的元素不仅是单个字符串,而且是由字段和值组成的对象。范围查询速度很快,并且流中的每个条目都有一个 ID,这是一个逻辑偏移量。流提供了针对时间序列等应用的解决方案,并可为其他应用提供流消息,例如,替换需要更高可靠性的通用发布/ 订阅应用程序,以及其他全新的应用。


您可以通过分片(聚集多个实例)来扩展 Redis 实例并提供容灾恢复的持久性选项,所以 Redis 可以作为企业级应用的选择。


本文转载自公众号中间件小哥(ID:huawei_kevin)。


原文链接:


https://mp.weixin.qq.com/s/4uxNiETeGsQXdQfWIQGozQ


2019-12-09 16:512059

评论

发布
暂无评论
发现更多内容

24小时自助洗车让洗车更自由

共享电单车厂家

自助洗车加盟 24小时自助洗车

云流化技术在汽车行业中的应用

3DCAT实时渲染

XR 云流化

【等级测评师】等级测评师怎么报名?多少分及格?

行云管家

等保 等保测评师 等级测评师

Mybatis省略@Param注解原理

吴明

MyBatis标签 6月月更

dart:字符串replace相关的方法

坚果

flutter dart 6月月更

聊聊远程办公那些事儿 | 社区征文

joe

初夏征文

几个跨端开发神器

Geek_99967b

小程序 小程序容器

数据安全合规之后,给风控团队带来了新的问题

博文视点Broadview

为了使远程工作不受影响,我写了一个内部的聊天室 | 社区征文

云小梦

微信小程序 wepy 初夏征文

Hologres共享集群助力淘宝订阅极致精细化运营

阿里云大数据AI技术

sql 大数据 分布式计算 存储 数据可视化

更多龙蜥自研特性!生产可用的 Anolis OS 8.6 正式发布

OpenAnolis小助手

开源 操作系统 龙蜥社区 Anolis OS 8.6 版本发布

“低代码”在企业数字化转型中扮演着什么角色?

优秀

低代码 数字化

波卡跨链通信源码探秘: 要素篇

彭亚伦

Substrate 波卡

从前端开发角度理解如何与Substrate协作

彭亚伦

Substrate 波卡

2022中国国潮发展新动向

易观分析

国潮消费

JS ES5也可以创建常量?🎃

德育处主任

JavaScript ES5 6月月更

我的远程办公总结|社区征文

DS小龙哥

远程办公 初夏征文

互联网研发效能实践之去哪儿网(Qunar)核心领域DevOps落地实践

laofo

DevOps 研发效能 持续交付 研发管理工具 工程效率

你的城市还没有自助洗车?赶紧开个

共享电单车厂家

自助洗车加盟 开自助洗车店

Substrate 跨链技术源码级探索: XCVM的概览

彭亚伦

Substrate 跨链技术 波卡

一对一直播app开发时,如何使用Nginx安全?

开源直播系统源码

软件开发 直播系统 一对一直播 一对一直播源码 直播源码

7 月 2 日邀你来TD Hero 线上发布会

TDengine

数据库 tdengine

智能自助洗车机洗车都有哪些优势

共享电单车厂家

自助洗车加盟 智能自助洗车机

如何成为一名共享自助洗车合伙人

共享电单车厂家

共享自助洗车 自助洗车加盟 自助洗车合伙人

做自助洗车合伙人要投入多少

共享电单车厂家

自助洗车加盟 自助洗车合伙人

大学生研究生毕业找工作,该选择哪个方向?

C++后台开发

后端开发 应届生 C++后台开发 研究生 C++开发

图文并茂!手把手教你在VMware中的安装部署Linux-CentOS7.4

迷彩

Linux centos 开发 6月月更

大数据培训 | Flink专题面试

@零度

flink 大数据开发

《网络是怎么样连接的》读书笔记 - 汇总篇

懒时小窝

网络

观测云与 TDengine 达成深度合作,优化企业上云体验

TDengine

tdengine 物联网 观测云

等级测评是什么意思?工作流程包含哪些?

行云管家

网络安全 等保 等保测评 等级测评

如何将 Redis 用于微服务通信的事件存储
_文化 & 方法_中间件小哥_InfoQ精选文章