写点什么

Redis 进阶应用:Redis+Lua 脚本实现复合操作

  • 2020-02-07
  • 本文字数:2370 字

    阅读完需:约 8 分钟

Redis进阶应用:Redis+Lua脚本实现复合操作

一、引言

Redis 是高性能的 key-value 数据库,在很大程度克服了 memcached 这类 key/value 存储的不足,在部分场景下,是对关系数据库的良好补充。得益于超高性能和丰富的数据结构,Redis 已成为当前架构设计中的首选 key-value 存储系统。


虽然 Redis 官网上提供了 200 多个命令,但做程序设计时还是避免不了为了实现一小步业务逻辑而多次调用 Redis 的情况。


以 compare and set 场景为例。如果使用 Redis 原生命令,需要从 Redis 中获取这个 key,然后提取其中的值进行比对:如果相等就不做处理;如果不相等或者 key 不存在则将 key 设置成目标值。仅仅一个单点的 compare and set 操作就需要与 Redis 通讯两次。


此外,这种分散操作无法利用 Redis 的原子特性,占用多次网络 IO。


今天我们就来探讨一下如何优雅地应对上述场景。

二、Redis 与 Lua

在介绍 Lua 之前,我们需要先对这个语言有个初步了解。Lua 是一个小巧的脚本语言,几乎可以运行在所有操作系统和平台上。我们一般不会用 Lua 处理特别复杂的事务,因此只需了解一些 lua 的基本语法即可。


Redis 问世之后,其开发者也意识到了开篇提到的问题,因此 Redis 从 2.6 版本开始支持 Lua 脚本。新版本的 Redis 还支持 Lua Script debug,感兴趣的小伙伴可以去官网的 Documentation 中找到对应介绍和 QuickStart。


有了 Lua 脚本之后,使用 Redis 程序时便能够在以下方面实现显著提升:


  • 减少网络开销:本来 N 次网络请求的操作,可以用一个请求完成。原先 N 次请求的逻辑放在 Redis 服务器上完成,减少了网络往返时延;

  • 原子操作:Redis 会将整个脚本作为一个整体执行,中间不会被其他命令插入。这是一个重要特性,一定要拿小本本记好。至于为什么是一个原子操作,我们以后再分析;

  • 复用:客户端发送的脚本会永久存储在 Redis 中。这样其他客户端就可以复用这一脚本,而不需要使用代码完成同样的逻辑。


所以现在流传一句话:要想学好 Redis,必会 Lua Script。

三、通过 Lua 脚本实现 compare and set

接下来我们就实现一个简单的 compare and set,并通过这个例子感受一下 Lua 脚本给 Redis 使用带来的全新体验。


首先看一下如何让 Redis 执行 Lua 脚本。

3.1 Redis 的 EVAL

Redis 127.0.0.1:6379> EVAL script  numkeys key [key ...] arg [arg ...]
复制代码


  • script: 参数是一段 Lua 5.1 脚本程序。脚本不必(也不应该)定义为一个 Lua 函数。

  • numkeys: 用于指定键名参数的个数。

  • key [key …]: 从 EVAL 的第三个参数开始算起,表示在脚本中所用到的 Redis 键(key)。在 Lua 中,这些键名参数可以通过全局变量 KEYS 数组,用 1 为基址的形式访问( KEYS[1] ,KEYS[2],依次类推)。

  • arg [arg …]: 附加参数,在 Lua 中通过全局变量 ARGV 数组访问,访问的形式和 KEYS 变量类似( ARGV[1] 、 ARGV[2] ,诸如此类)。


这里借用一下官网的例子。


1565063153728030309.jpeg


上述脚本直接返回了入参。


  • eval 为 Redis 关键字;

  • 第一个引号中的内容就是 Lua 脚本;

  • 2 为参数个数;

  • key1 和 key2 是 KEYS[1]、KEYS[2]的入参;

  • first 和 second 是 ARGV[1],ARGV[2]的入参。


大家可以简单地将 KEYS[1],KEYS[2], ARGV[1],ARGV[2]理解为占位符。

3.2 执行脚本文件和缓存脚本

如果只能在命令行中写脚本执行,遇到复杂的脚本程序岂不是会抓狂?


下面我们来看一下,如何让 Redis 执行 Lua 脚本文件,同时也验证一下 lua 脚本的复用特性(以后我们再也不需要定期批量删除某些符合特定规则的 key 了)。


Redis 127.0.0.1:6379> SCRIPT LOAD  scriptRedis 127.0.0.1:6379> EVALSHA sha1  numkeys key [key ...] arg [arg ...]
复制代码


Redis 提供了一个 SCRIPTLOAD 命令,命令后面的 script 即为 Lua 脚本。命令将脚本 script 添加到脚本缓存中,但并不立即执行这个脚本。执行命令后,Redis 会返回一个 SHA1 串,第二个 EVALSHA 命令即可执行。


需要注意的是,脚本可以在缓存中保留无限长的时间,直到执行完 SCRIPT FLUSH。我们来看一下效果。


1565063162744000455.jpeg


Redis 还支持直接执行 Lua 脚本文件。首先编写并存储一个 Lua 脚本。


1565063169363042305.jpeg


然后调用 Redis-cli –eval 命令


1565063176794018397.jpeg


Redis-cli –eval 命令语法基本与原 eval 语法相同。

3.3 使用 Lua 脚本实现 compare and set

compareand set 的实现逻辑是这样的:首先获取 Redis 中指定 key 的 value,然后与给定值进行比较:如果相等,则将 key 设定为目标值并返回一个标识符;如果不相等,则不作任何操作并返回一个标识符。


if Redis.call('get', KEYS[1]) == ARGV[1]  then     Redis.call('set', KEYS[1], ARGV[2]);     return 1else     return 0 end
复制代码


下面我们来测试一下这个脚本。


首先向 Redis 的指定 key compareAndSet:key 写入一个值 value


1565063186284056507.jpeg


在 Redis 中执行 lua 脚本


1565063195364039755.jpeg


可以看到第一次执行返回 1,说明修改成功了;再使用原参数执行时返回 0,说明没有做任何修改。我们再查询一下 compareAndSet:key 这个 key


1565063202334030640.jpeg


可以看到 compareAndSet:key 这个 key 已经被修改为 new_value 了。

四、总结

我们通过 lua 脚本实现了一个简单的 compareAndSet 操作。


下面我们通过这个例子来验证一下开篇提到的特性。


  • 减少网络开销:不使用脚本的情况下,我们实现一个 compareAndSet 至少需要与 Redis 交互两次,而现在只需要执行一次操作即可完成;

  • 原子操作:得益于 Redis 的设计,Redis 会将整个脚本作为一个整体执行,中间不会被其他命令插入。因此在编写脚本的过程中无需担心出现竞态条件,无需使用事务,感兴趣的可以百度或等待以后后续文章更新;

  • 复用:可以将一系列操作封装成一个 Lua 脚本,存储在文件或 Redis 上,下次使用时直接调用即可。


读到这里,希望你已经对 Redis+Lua 有了一定的了解,并能使用脚本完成一些简单的复合操作。后续还会继续更新一些基于 Lua 脚本+java 程序实现的分布式数据结构,如延迟队列、可重入锁等,感兴趣的小伙伴可以持续关注。


本文转载自宜信技术学院。


原文链接:http://college.creditease.cn/detail/284


2020-02-07 20:381675

评论 1 条评论

发布
用户头像
一直在纠结这个原子性,看到这里明白了,我一直纠结的是回滚,因为redis. call一旦执行就不会被撤销,所以比如编程错误,例如语法类型错误,lua script脚本还是会继续执行脚本里的其他的命令
2021-01-31 23:44
回复
没有更多了
发现更多内容

如何理解小程序插件?微信及支付宝官方详解

没有用户名丶

开源直播源码平台处理卡顿问题技巧方案_山东布谷科技创作

山东布谷科技

开源 软件开发 直播 源码搭建 直播源码

单一可信源代码托管平台的构建之道

极狐GitLab

gitlab 安全 高效 便捷 源代码管理

极狐GitLab 3 步优化软件价值流,谨防偷走时间、制造瓶颈的“幕后黑手”

极狐GitLab

gitlab 可视化 软件研发 价值流管理 VSM

【有奖互动】开发者版本新特性,你期待哪些更新?#HDC.Together2023#

HarmonyOS开发者

HarmonyOS

在 K8S 中只会 CI 不会 CD ?3 种方式,让极狐GitLab 和 K8S 高效协同!

极狐GitLab

DevOps 云原生 k8s CI/CD 集成

《APaaS应用实施方法论》电子书正式发布

明道云

Nautilus Chain 主网上线,创世 ZBC 质押即将开启

鳄鱼视界

影响云安全的因素有哪些?如何保障云安全?

行云管家

云安全 企业上云 堡垒机 自动化运维 云管

全面构建AI能力,AIFS为AI产业发展按下“加速键”

九章云极DataCanvas

Apache Flink 在翼支付的实践应用

Apache Flink

大数据 flink 实时计算

阿里商旅账单系统架构设计实践

阿里技术

账单 阿里商旅 账单系统 账单数据

你的极狐GitLab SaaS上开启这些设置了吗?代码安全,安心下班!

极狐GitLab

gitlab CI/CD DevSecOps 代码安全 软件供应链安全

一文讲透 Redis 事务 (事务模式 VS Lua 脚本)

不在线第一只蜗牛

Lua脚本 redis 底层原理 Redis 可视化工具

模糊测试公布结果,大众漏洞被曝光

云起无垠

网络安全 模糊测试

大模型时代下的全新变革

九章云极DataCanvas

MobPush 厂商通道申请指南

MobTech袤博科技

大数据 华为 程序员 前端 Android;

Python爬虫超详细讲解(零基础入门,老年人都看的懂)

Java随想录

Java Python

打造数据处理新范式,DataPilot畅游数据向量海

九章云极DataCanvas

下载|GitLab 2023 年 DevSecOps 全球调研报告:安全左移深入人心、AI/ML 蔚然成风

极狐GitLab

gitlab DevSecOps AI/ML 安全左移 安全实践

探索Reactor网络模型在当今应用领域的革新

华为云开发者联盟

开发 华为云 企业号 7 月 PK 榜 华为云开发者来联盟

《中国民用航空业零代码应用与推广白皮书》正式发布

明道云

我来泼盆冷水:正面迎击AI的时代千万别被ChatGPT割了韭菜

EquatorCoco

人工智能 信息安全 ChatGPT

如何用极狐GitLab 为 Android App 创建自动化CI/CD?详细教程来了

极狐GitLab

自动化 CI/CD Android; keystore fastlane

火山引擎DataTester:三类AB实验,让企业营销拥有灵敏“网感”

字节跳动数据平台

大数据 A/B测试 对比试验 企业号 7 月 PK 榜

AI与数据双向赋能,DingoDB成向量海时代超强引擎

九章云极DataCanvas

什么是MES,MES系统有哪些功能模块?MES系统概述

优秀

MES系统 mes

九章元识大模型加速AI产业创新发展

九章云极DataCanvas

Spring高手之路3——揭秘Spring依赖注入和SpEL表达式

砖业洋__

spring 依赖注入 属性注入 SpEL表达式 Bean配置

Nautilus Chain 主网上线,创世 ZBC 质押即将开启

威廉META

Redis进阶应用:Redis+Lua脚本实现复合操作_行业深度_李崇_InfoQ精选文章