写点什么

Flickr 选择使用 Sentinel 来保证 Redis 的高可用性

  • 2014 年 8 月 19 日
  • 本文字数:1043 字

    阅读完需:约 3 分钟

Flickr 近期宣布,针对他们的线下任务处理子系统中的 Redis ,已经部署了 Sentinel ,用于自动化其故障转移操作。但他们对 Redis 的一致性问题感到了担忧。

去年, Factual 的工程师及分布式系统专家 Kyle Kingsbury ,对 Redis 的一致性问题进行了研究,并将结果发表在了他的 Jespen 系列连载中。在文章中,他表示能够使用 Redis 和 Sentinel 构造出这样一个场景:在 Redis 通知我们已成功的写请求中,有 56% 的写请求事实上是被丢弃了。Kingbury 表示,这个令人担心的结果是由 Sentinel 系统中的两个问题导致的。

第一个问题,要注意在网络分割开始时,所有客户端都会丢失写请求的数据。因为当网络出现故障时,客户端都往 n1 节点写数据。由于之后 n1 退级,不再是主节点,在这个时间窗口内写入的数据将全部丢失。第二个问题是由 split-brain 引起的:在网络分割现象消失之前,n1 和 n5 都成为了主节点。一些客户端可能可以成功地写入数据,而其他的将丢失所写的数据,这取决于客户端与哪个节点进行交互。

Redis 的作者 Salvatore Sanfilippo 对这篇文章作出了回复。他确认了这个问题的存在,但也同时指出:丢失数据量最小化并不是 Sentinel 的设计目标。

需要明确的是,这条指责是正确的。它表明了 Sentinel 并不擅长处理在网络分割中将丢失数据量最小化这个复杂的问题,这一点原本就不是 Sentinel 的设计目标。况且,在用户通过自己所写的脚本来处理故障转移的案例中,99% 的案例在故障检测和故障转移处理过程上,远远逊于 Sentinel。

尽管 Flickr 知道这些问题,但由于起初他们为自己的线下任务处理子系统制定了过于自信的 SLA 目标,他们开始转而使用 Sentinel。在注意到他们的手动故障恢复流程不可能帮助他们达到 99.995% 正常运行时间的目标后,他们寻找了其他解决方案,并选定了 Sentinel。

在对 Sentinel 系统及它的配置参数进行重要的测试之后,他们能设计出一种在 4~6 秒钟内自动进行故障转移的方法。从而使得他们可以达到之前设定的正常运行时间的目标。在测试过程中,他们也能重现 Kingsbury 所发现的场景。但是,Flickr 工程师 Richard Thorn 和 Shawn Cook 解释道:“尽管我们相信我们的生产环境会受到 split-brain 的影响,但我们确信所获得的好处远大于带来的风险”。

参考英文原文: Flickr Chooses Sentinel for Highly Available Redis


感谢邵思华对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014 年 8 月 19 日 04:092733

评论

发布
暂无评论
发现更多内容

React Native 跨端框架与小程序混编实战

Speedoooo

flutter 小程序 React Native APP开发

Android-聊聊自动化测试真经

芝麻粒儿

android 7月月更

亚马逊云科技如何通过智能营销帮助苏泊尔实现年产破亿?

Lily

IDC 发布《云原生 AI - 加速 AI 工程化落地》报告,百度智能云领跑云原生 AI 能力

百度智能云

异构计算 AI加速 云原生AI

秒懂 Git 与 Gitee

攻城狮杰森

git gitee 7月月更 入门教程

AI 翻译助力社交泛娱乐应用全球无障碍沟通

融云 RongCloud

【运维小知识】单点登录是什么意思?有什么作用?

行云管家

运维 单点登录 IT运维

大数据培训如何优化HiveSQL

@零度

大数据开发 hiveSQL

Python丨实用技巧Tips

AXYZdong

Python 7月月更

java培训JVM中方法调用的深入理解

@零度

JVM JAVA开发

来了,MyBatisPlus的join联表查询

冉然学Java

Java mybatis 编程、 Fork/Join框架

AI简报-how to use Loss Surfaces 一种模型集成

AIWeker

AI简报 7月月更

Python 入门指南之虚拟环境和包

海拥(haiyong.site)

7月月更

用户体验 | 银行如何优化APP用户体验

易观分析

用户体验

web前端培训从 Vue CLI 怎样迁移到 Vite

@零度

前端开发 vite

推荐一个鸿蒙即时通讯软件《果聊》,有点屌呢!!

坚果

OpenHarmony 7月月更 harmony

AWS Trusted Advisor

冯亮

云计算 DevOps AWS

ES6 --- 展开运算符(一)

bo

前端 面试题 ES6 深拷贝 7 月月更

双引擎 GPU 容器虚拟化,用户态和内核态的技术解析和实践分享

百度智能云

异构计算 AI加速 GPU容器虚拟化

用友网络:把握穿越周期的关键,高研发投入下的发展韧性

Lily

北京银行推出“智策”零售数字化运营体系 加速推进数字化转型发展

易观分析

数字化转型

SpringSecurity 添加验证码的两种方式

周杰伦本人

7月月更

Rancher2.6 Monitoring Grafana 对接 LDAP

Rancher

Kubernetes k8s rancher

架构“浴火重生”宝典名不虚传!GitHub开源半日标星竟已超300k!

冉然学Java

Java 架构 笔记分享 #Github #开源

数据库每日一题---第22天:最后一次登录

知心宝贝

数据库 算法 前端 后端 7月月更

墨天轮沙龙 | 北京大学李文杰:面向知识图谱应用的图数据库系统gStore

墨天轮

数据库 图数据库 知识图谱 开源数据库 国产数据库

Flickr选择使用Sentinel来保证Redis的高可用性_语言 & 开发_Benjamin Darfler_InfoQ精选文章