写点什么

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间

  • 2020-02-12
  • 本文字数:2000 字

    阅读完需:约 7 分钟

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间

身为后端工程师,你对这类招聘要求肯定不陌生:熟悉分布式系统的设计和应用;熟悉分布式、缓存、消息、搜索等机制;能对分布式常用技术进行合理应用、解决问题等等。


而这其中,又以分布式协议与算法尤甚。很多知名公司在招聘架构师或高级工程师时,都要求你熟悉分布式协议与算法。面试官不仅会考察其原理和运行机制,还有面试者对这类问题在架构设计层面的理解,以及具体场景下的应用。


但以我作为面试官的多年经验来看,真正搞懂这部分的候选人少之又少


其实,分布式协议与算法(下面简称分布式算法)是分布式系统运行的核心规则和关键步骤,想参透分布式技术,开发一个分布式系统,最先要掌握的就是这部分知识。


以时序数据库 InfluxDB 为例,很多技术团队试图自己实现 InfluxDB 的集群功能,但最终都放弃了。因为这里面的坑实在太多,甚至还有些人在接入性能敏感的场景,该使用反熵(Anti-Entropy)算法的时候,却用了 Raft 算法,使得集群性能约等同于单机。


如果你想使用集群功能,又无法基于开源版本自研,就只能购买人家的企业版。要知道,企业版每个节点的 License 授权费就要 1.5 万美刀/年,具体贵在哪呢?相比于已经开源的单机版本,其技术壁垒又是什么?


其实,它的护城河就是以分布式算法为核心的分布式集群能力。由此可见,真正掌握分布式算法的人并不多。大多数人只是会用分布式系统,却并不具备分布式系统的独立开发能力。


所以,不论是基于工作需要,还是想寻求长期职业发展、提升职场竞争力,分布式算法作为分布式系统的核心,都是你在这个时代应该掌握的基本功。

如何高效学习分布式算法?

很多同学会发现,尽管看了很多资料和书籍,一旦涉及到具体问题,仍旧一头雾水:


  • 众多开源软件看着都很厉害,事务型、一致性、最终一致性,哪个最适合自己的业务,又该如何选型呢?

  • 想要实现数据副本的一致性,到底该选 Paxos 算法,还是 Raft 算法呢?

  • 为什么我的集群接入性能低?稍微出现峰值流量,为什么业务就基本不可用了?

  • 如何设计分布式系统架构呢?那么多算法,Paxos、Raft、Gossip、Nuorum NWR、PBFT 等等,究竟该选择哪个?


其实,算法本身相对抽象,即使是非常经典的论文,也有一些关键细节没有交代清楚。


网上的信息大多是“复制粘贴”的结果,甚至有不少错误,给自主学习带来了很多障碍和误导。


在我看来,要掌握这部分内容,不仅要理解常用算法的原理、特点和局限性,还要根据场景特点选择适合的分布式算法


为了帮你彻底拿下分布式技术,理解其中最核心和最为精妙的内容,我跟极客时间合作了专栏《分布式协议与算法实战》,力求将自己支撑海量互联网服务中的分布式算法实战心得全部分享给你,让你真正拿下这场攻坚战。


再具体一点说,就是能在工作中根据场景特点,灵活地设计架构和运用分布式算法,开发出适合该场景的分布式系统,对架构设计的理解更上一层楼。

我是谁?

我是韩健,腾讯资深工程师。从重庆大学的软件工程专业毕业后,我就开始和分布式系统打交道,至今已有 10 多年了。早期,我接触了电信级分布式系统,比如内核态 HA Cluster,现在是互联网分布式系统,比如名字服务、NoSQL 存储、监控大数平台等。


我曾做过创业公司的 CTO。在加入腾讯后,负责过 QQ 后台海量服务分布式中间件,现在致力于时序数据库 InfluxDB 自研集群系统的架构设计和研发工作。

我是如何讲解分布式算法的?

我将整个专栏划分成三大模块:


第一,理论篇,我会带你搞懂分布式架构设计的核心理论,学完即可落地实践。其中,涉及典型的分布式问题,分布式系统中的相互矛盾特性等,让你能在实战中根据场景特点选择适合的分布式算法。


第二,协议和算法篇,重点讲解其原理、特点、适用场景和常见误区。比如,你以为开发分布式系统使用 Raft 算法就足够了,其实它更适合性能要求不高的强一致性场景;又比如类似“Paxos 和 Raft 的区别在哪里”等常见面试题,你都会在这部分找到答案。


第三,实战篇,让你掌握分布式基础理论和分布式算法在工程实践中的应用。比如,剖析 InfluxDB 企业版的 CP 架构和 AP 架构的设计,以及 Raft、Quorum NWR、Anti-Entropy 等分布式算法的具体实现。


通过实战篇的学习,你可以了解如何根据场景特点选择适合的分布式算法,以及使用分布式算法的实战技巧。这样,你就可以根据工作中的实际情况举一反三,独立思考、设计开发了。


除此之外,我还会剖析 Hashicorp Raft 的实现,并以一个分布式 KV 系统的开发实战为例,带你用 Raft 算法开发一个分布式系统,让你全面掌握分布式算法的实战能力


总体来说,学完这个专栏,你会有 4 个收获


  1. 可落地的 4 大分布式基础理论;

  2. 8 个最常用的分布式协议和算法;

  3. 3 大实战案例手把手教学;

  4. 以实战为中心的分布式内容体系。

现在订阅有什么福利?

1.早鸟优惠 ¥55,原价 ¥68。结算时,输入优惠口令「fenbushi6」再减 5 元,到手仅 50 元,口令仅限【前 200 个名额】有效,戳此抢购


2.订阅专栏后,生成分享海报,每成功邀请 1 位好友订阅,可得 ¥18 返现。


2020-02-12 15:294582

评论

发布
暂无评论
发现更多内容

全面预算管理可以从科技发展中得到什么?

智达方通

全面预算管理 信息孤岛

MaxCompute 物化视图智能推荐最佳实践

阿里云大数据AI技术

大数据 算力加速 智能推荐 企业号 5 月 PK 榜

自动驾驶研发解决方案,百度智能云市场份额第一!

Baidu AICLOUD

自动驾驶 AI 大底座

极氪汽车 APP 系统云原生架构转型实践

阿里巴巴云原生

阿里云 云原生 合作

理论+实操|一文掌握 RFM 模型在客户数据洞察平台内的落地实战

袋鼠云数栈

大数据 RFM模型 标签体系 RFM

伊利与腾讯云 CODING 的「水乳交融」启示录

CODING DevOps

DevOps 最佳实践 数字化转型 CODING

Server版支持即将到期,Jira和Confluence如何迁移?(2)

龙智—DevSecOps解决方案

云原生 迁移 云 原生云 CTO 迁移上云 迁移计划

为什么数字化转型就应该选择低代码?一文详解

加入高科技仿生人

低代码 数字化转型

对线面试官-线程池(一)

派大星

面试

数据可视化:地图类可视化图表大全

2D3D前端可视化开发

大数据 数据分析 数字化转型 数据可视化 数据可视化工具

央企财务共享建设路径四大趋势洞察

用友BIP

财务共享

平行云X火山引擎:探索XR观展的极致体验

火山引擎边缘云

XR 火山引擎 实时云渲染 平行云 火山引擎边缘云

低代码+MOM:释放制造业数字化魅力

力软低代码开发平台

财务共享经验分享!权威教授解读企业走向财务数智化的关键路径

用友BIP

财务共享

公用事业财务共享如何建,看南京水务立标杆

用友BIP

财务共享

企业号 6 月 PK 榜,火热开启!

InfoQ写作社区官方

热门活动 企业号 6 月 PK 榜

是 CI 也是阿拉伯飞毯——腾讯云 CODING CI 3.0 云原生构建

CODING DevOps

云原生 持续集成 CODING DevOps

财务共享案例分享!大型企业财务先锋交流财务数智化转型的关键举措

用友BIP

财务共享

探索 Web 管理之路,OpenYurt 社区 UI/CLI SIG 正式启动

阿里巴巴云原生

阿里云 开源 云原生 openyurt

靠AI自动生成视频撸自媒体收益,月入5000+

派大星

ChatGPT4

全球化财务如何通过全球核算助力跨国业务的稳定增长和持续发展?

用友BIP

中企出海 全球化财务

神笔马良看了都鼓掌

百度Geek说

人工智能 AIGC 企业号 5 月 PK 榜

OIDC & OAuth2.0 认证协议最佳实践系列 02 - 授权码模式(Authorization Code)接入 Authing

Authing

低代码 OAuth 2.0 OIDC Authing

玩转服务器之网站篇:新手使用WordPress搭建博客和静态网站部署

京东科技开发者

Wordpress 部署 服务器 WordPress 企业号 5 月 PK 榜 静态网站部署

“源生无限,同行致远”,加速迈向智能世界

说山水

2023上海国际嵌入式展 | 如何通过生命周期管理工具创建完整、可追溯的嵌入式开发

龙智—DevSecOps解决方案

嵌入式系统 嵌入式开发 上海国际嵌入式展

合合信息商业大数据技术为农商行打造数字化转型专项方案

合合技术团队

数据挖掘 大数据 金融

欧伟杰:乘“20+8”政策之东风,促进深圳空间数据向好发展

YashanDB

数据库

国内一流地方金融控股集团-长投控股怎样建设财务共享平台?

用友BIP

财务共享

业务高速增长,如祺出行如何用腾讯云消息队列 RocketMQ 应对挑战

科技热闻

人脸识别图像技术的原理及其应用

数据堂

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间_架构_韩健_InfoQ精选文章