红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

国内酒店稳定性治理实践之缓存治理

  • 2021-01-19
  • 本文字数:1957 字

    阅读完需:约 6 分钟

国内酒店稳定性治理实践之缓存治理

背景


我们连续遇到几次与缓存相关的故障:


1、DBA 运维失误,导致我们存储在 redis 里的核心基础数据被清空。由于无法正常提供报价,出现 ATP(订单量骤降)故障,之后通过定时任务花费半个小时将数据写回 redis,故障恢复。

2、PC 端爬虫流量进入后端,应用的 redis 连接池被打满,大量同步的 redis 请求都等待 500ms 获取连接,导致应用的 tomcat 线程池被打满,服务被拖死,无法正常提供 PC 端业务,而 redis server 端当时还完全没压力。


类似与缓存相关的故障还有不少,这里就不一一列举了。在对故障进行 review 时,我们意识到有不少核心场景都使用了 redis 缓存作为核心依赖和存储,同时这些场景我们并没有对 redis 可能出现的问题进行预防和处理。


由于我们的核心业务重度依赖 redis,为了不让类似的故障重复上演,也希望在故障前做好准备和预防,我们对缓存进行了专项的治理。


治理方案


1、高可用治理:这项是最重要的,但是和 redis 本身的高可用部署是无关的,核心出发点是业务的高可用指标不应该完全依赖于使用的组件,组件出故障不代表业务也跟着故障。


首先,建议快速恢复。通常这种方案更适用于有基础数据集的,通过定时任务或者手动触发接口,在短时间内完成对数据的清洗,清洗时考虑优先恢复热点数据。这里的短时间,我们期望是能影响 ATP 的场景在 2min 内完成,对用户体验有影响的允许在 10min 内完成。


其次,考虑对核心数据做多副本。核心的业务场景可以考虑将数据缓存到 redis 不同 namespace 集群中或多个缓存组件中(redis+tair、redis+memory),这样挂掉一个时可以通过切换到备用的缓存来快速恢复。



之后,考虑手动降级。不走缓存,或替换为其他通道。这里优先考虑无损降级的方式,必要的时候可以考虑有损降级。



最后,我们还发现系统里存在”A 应用写,B、C 应用读“的情况,这种需要上下游一起沟通最终的方案,并且推荐使用快速恢复,使用方可根据需要做些额外的准备。


2、参数调优:这里主要指对 redis 使用配置的时间及线程数的优化。


根据监控我们发现:绝大部分场景下,通过 redis 读取和更新缓存的时间都是几毫秒左右(含连接时间)。实际中很多场景 redis 的使用都忽略了这些参数的合理配置,并且发现很多都是复制的某年的某个例子的几百毫秒。


针对这种情况,我们要求对应用里每个 redis 的配置都做好检查及合理化配置。


3、补充一些治理的细节


1)memcache 替换为 redis:redis 组件相比 memcache 好处就不多说了,主要是将缓存的运维统一都交给公司 DBA。

2)统一配置文件格式:目前很多系统线上有很多配置文件,找起来很麻烦,故障时要能快速找到对应的配置。

3)完善监控:保证每个业务场景对 redis 的调用量级和时间(含异常的量级和时间)都能在监控系统找到。


治理过程


1、梳理核心场景使用的缓存。主要整理涉及缓存的核心场景、故障时影响、数据量级等。

2、确定整体治理方案。先有了大致方案后,然后组内各个系统负责人一起 review 方案细节,将忽略的细节补充到整体方案中。这个和梳理可以并行,在梳理完成后确定最终的治理方案。

3、review 各个场景治理细节。开发、应用负责人、qa 负责人一起 review 每个场景的治理细节,并且明确标准。

4、按照每个场景讨论确定的治理方案进行开发、自测。过程中如果发现方案有问题,可讨论修改,按新方案执行。

5、开发过程中整理故障场景方案及应用维度的应急手册。

6、提测及测试。开发要再次跟 qa 说明治理的场景及方案,qa 根据整理的手册进行验证,同时在 beta 环境演练。

7、上线及制作监控面板。代码上线后,将相关监控按照应用维度制作监控面板,方便日常演练和故障时快速查看。

8、线上演练。在业务低峰时间段,对应急手册里的调整在线上进行验证,对有问题的点进行改进,并找时间继续演练,直至达到预期。


成果与总结


目前,组里大部分的 P1 系统都完成了缓存治理及演练,共花费 60 多个人日,过程中参与的开发人员对 redis 的很多细节做了深入学习,加深了对 redis 的理解。


缓存治理开始时的梳理加深了组内人员对系统的理解,产出的 wiki 对其他同学及新同学很有帮助。


缓存治理产出的监控面板,对日常巡检和故障时快速定位很有帮助。


缓存治理产出的应急手册,在面对实际故障时,能极大的减少故障持续的时间。


值得特别说明的是,近期基础数据组 DB 里酒店图片数据意外被脏写,间接导致我们 redis 里的数据被脏写(这部分数据是用户触发的)。在 DB 里数据恢复正常后,我们借助预留的降级手段,直接调整开关为调用 dubbo 接口获取基础服务 DB 里的图片数据,故障在操作后 1min 内恢复。


头图:Unsplash

作者:郑吉敏

原文:https://mp.weixin.qq.com/s/eMHsutVlfX7CVGx4hjdCQg

原文:国内酒店稳定性治理实践之缓存治理

来源:Qunar 技术沙龙 - 微信公众号 [ID:QunarTL]

转载:著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

2021-01-19 23:321347

评论

发布
暂无评论
发现更多内容

Java面试常用知识(附赠最新面试题)

架构大数据双料架构师

Git 的进阶操作

多选参数

git GitHub gitlab

微服务网关演进之路

捉虫大师

Java 微服务 dubbo 网关

一文解决MySQL时区相关问题

Simon

MySQL 数据库

起底印度禁用59款应用的数据表现

谢锐 | Frozen

移动应用 游戏开发 游戏出海 移动互联网 游戏制作

面试时被问创建多少个线程合适?你该怎么说?

小谈

面试 线程 JVM springboot SpringCloud

集中全世界程序员的力量,可以在三天之内实现一个手机淘宝吗?

非著名程序员

程序员 软件 程序人生 软件工程 人月神话

手把手教你看MySQL官方文档

Simon

MySQL

谈谈容器和K8s

Gabriel

架构师训练营第五周总结

Melo

极客大学架构师训练营

模式与重构-作业

秤须苑

写给孩子的两本书我读得津津有味

孙苏勇

读书 陪伴 随笔杂谈

十分钟带你彻底搞懂原码、反码、补码

程序员生活志

补码 原码 反码

Linux 操作系统!开篇!!!

cxuan

Linux

极客大学架构师训练营 系统架构 分布式缓存 一致性哈希 Hash 第9课 听课总结

John(易筋)

极客时间 极客大学 极客大学架构师训练营 分布式缓存 一致性哈希

腾讯的辣酱不香了 支付宝的区块链真能解决“萝卜章”问题?

CECBC

双链通 萝卜章 区块链方案

【自学成才系列二】multipass上ubuntu安装篇

小朱

ubuntu multipass

架构师训练营第五周总结

陈靓-哲露

重学 Java 设计模式:实战状态模式「模拟系统营销活动,状态流程审核发布上线场景」

小傅哥

Java 设计模式 小傅哥 重构 代码规范

Gradle快速入门使用指南 - 安装篇

小隐乐乐

maven

系统架构师week 04 - 互联网架构总结

尔东雨田

极客大学架构师训练营

产业数字化无法“一蹴而就”,而是“长跑冠军”。

CECBC

锦囊篇|一文摸懂SharedPreferences和MMKV(一)

ClericYi

为什么大家都说SELECT * 效率低

Java小咖秀

MySQL 面试 经验

小师妹学JVM之:JIT中的PrintAssembly续集

程序那些事

JVM jdk8 JDK14 assembly 签约计划第二季

分布式缓存 - 第五周作业

孙志平

自由职业半年之后,我又滚回职场了...

王磊

程序员 程序人生

ARTS-week5

王钰淇

ARTS 打卡计划

MyBatis入门

Simon郎

Java mybatis

理解Redis的内存回收机制和过期淘汰策略

老胡爱分享

redis LRU

神经网络攻防:开篇词——你所不知道的神经网络攻防

P小二

神经网络 AIPwn 对抗样本 AI安全 P小二

国内酒店稳定性治理实践之缓存治理_语言 & 开发_Qunar技术沙龙_InfoQ精选文章