正式定档!QCon 北京站改期为2024年4月11-13日,地点:北京·国测国际会议会展中心 >>> 了解详情
写点什么

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间

  • 2020-02-12
  • 本文字数:2000 字

    阅读完需:约 7 分钟

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间

身为后端工程师,你对这类招聘要求肯定不陌生:熟悉分布式系统的设计和应用;熟悉分布式、缓存、消息、搜索等机制;能对分布式常用技术进行合理应用、解决问题等等。


而这其中,又以分布式协议与算法尤甚。很多知名公司在招聘架构师或高级工程师时,都要求你熟悉分布式协议与算法。面试官不仅会考察其原理和运行机制,还有面试者对这类问题在架构设计层面的理解,以及具体场景下的应用。


但以我作为面试官的多年经验来看,真正搞懂这部分的候选人少之又少


其实,分布式协议与算法(下面简称分布式算法)是分布式系统运行的核心规则和关键步骤,想参透分布式技术,开发一个分布式系统,最先要掌握的就是这部分知识。


以时序数据库 InfluxDB 为例,很多技术团队试图自己实现 InfluxDB 的集群功能,但最终都放弃了。因为这里面的坑实在太多,甚至还有些人在接入性能敏感的场景,该使用反熵(Anti-Entropy)算法的时候,却用了 Raft 算法,使得集群性能约等同于单机。


如果你想使用集群功能,又无法基于开源版本自研,就只能购买人家的企业版。要知道,企业版每个节点的 License 授权费就要 1.5 万美刀/年,具体贵在哪呢?相比于已经开源的单机版本,其技术壁垒又是什么?


其实,它的护城河就是以分布式算法为核心的分布式集群能力。由此可见,真正掌握分布式算法的人并不多。大多数人只是会用分布式系统,却并不具备分布式系统的独立开发能力。


所以,不论是基于工作需要,还是想寻求长期职业发展、提升职场竞争力,分布式算法作为分布式系统的核心,都是你在这个时代应该掌握的基本功。

如何高效学习分布式算法?

很多同学会发现,尽管看了很多资料和书籍,一旦涉及到具体问题,仍旧一头雾水:


  • 众多开源软件看着都很厉害,事务型、一致性、最终一致性,哪个最适合自己的业务,又该如何选型呢?

  • 想要实现数据副本的一致性,到底该选 Paxos 算法,还是 Raft 算法呢?

  • 为什么我的集群接入性能低?稍微出现峰值流量,为什么业务就基本不可用了?

  • 如何设计分布式系统架构呢?那么多算法,Paxos、Raft、Gossip、Nuorum NWR、PBFT 等等,究竟该选择哪个?


其实,算法本身相对抽象,即使是非常经典的论文,也有一些关键细节没有交代清楚。


网上的信息大多是“复制粘贴”的结果,甚至有不少错误,给自主学习带来了很多障碍和误导。


在我看来,要掌握这部分内容,不仅要理解常用算法的原理、特点和局限性,还要根据场景特点选择适合的分布式算法


为了帮你彻底拿下分布式技术,理解其中最核心和最为精妙的内容,我跟极客时间合作了专栏《分布式协议与算法实战》,力求将自己支撑海量互联网服务中的分布式算法实战心得全部分享给你,让你真正拿下这场攻坚战。


再具体一点说,就是能在工作中根据场景特点,灵活地设计架构和运用分布式算法,开发出适合该场景的分布式系统,对架构设计的理解更上一层楼。

我是谁?

我是韩健,腾讯资深工程师。从重庆大学的软件工程专业毕业后,我就开始和分布式系统打交道,至今已有 10 多年了。早期,我接触了电信级分布式系统,比如内核态 HA Cluster,现在是互联网分布式系统,比如名字服务、NoSQL 存储、监控大数平台等。


我曾做过创业公司的 CTO。在加入腾讯后,负责过 QQ 后台海量服务分布式中间件,现在致力于时序数据库 InfluxDB 自研集群系统的架构设计和研发工作。

我是如何讲解分布式算法的?

我将整个专栏划分成三大模块:


第一,理论篇,我会带你搞懂分布式架构设计的核心理论,学完即可落地实践。其中,涉及典型的分布式问题,分布式系统中的相互矛盾特性等,让你能在实战中根据场景特点选择适合的分布式算法。


第二,协议和算法篇,重点讲解其原理、特点、适用场景和常见误区。比如,你以为开发分布式系统使用 Raft 算法就足够了,其实它更适合性能要求不高的强一致性场景;又比如类似“Paxos 和 Raft 的区别在哪里”等常见面试题,你都会在这部分找到答案。


第三,实战篇,让你掌握分布式基础理论和分布式算法在工程实践中的应用。比如,剖析 InfluxDB 企业版的 CP 架构和 AP 架构的设计,以及 Raft、Quorum NWR、Anti-Entropy 等分布式算法的具体实现。


通过实战篇的学习,你可以了解如何根据场景特点选择适合的分布式算法,以及使用分布式算法的实战技巧。这样,你就可以根据工作中的实际情况举一反三,独立思考、设计开发了。


除此之外,我还会剖析 Hashicorp Raft 的实现,并以一个分布式 KV 系统的开发实战为例,带你用 Raft 算法开发一个分布式系统,让你全面掌握分布式算法的实战能力


总体来说,学完这个专栏,你会有 4 个收获


  1. 可落地的 4 大分布式基础理论;

  2. 8 个最常用的分布式协议和算法;

  3. 3 大实战案例手把手教学;

  4. 以实战为中心的分布式内容体系。

现在订阅有什么福利?

1.早鸟优惠 ¥55,原价 ¥68。结算时,输入优惠口令「fenbushi6」再减 5 元,到手仅 50 元,口令仅限【前 200 个名额】有效,戳此抢购


2.订阅专栏后,生成分享海报,每成功邀请 1 位好友订阅,可得 ¥18 返现。


2020-02-12 15:294043

评论

发布
暂无评论
发现更多内容

技术革新产业变革新动能

CECBC

Apache BeanUtils和Spring BeanUtils剖析

Bruce Duan

BeanUtils 浅拷贝和深拷贝

MyBatis几种好用的写法

Bruce Duan

MyBatis标签

Windows Sandbox应用

Dare Devor

容器 Sandbox 虚拟化

罪羊树——暴力也是种优雅

烫烫烫个喵啊

算法 二叉树 替罪羊 平衡二叉树

应届生求职面试真的有那么难吗

xcbeyond

面试 应届生

Docker容器中一定要避免的10件事

xcbeyond

Docker 避坑

发布一本用 GitBook 编辑的书

耳东@Erdong

git gitbook

JDK1.8新特性(三):Lambda表达式,让你爱不释手

xcbeyond

Lambda 新特性 JDK1.8 JDK1.8新特性

ARTS 05 - 使用 Ecto.Migration 来做数据库迁移

jerry.mei

学习 算法 ARTS 打卡计划 函数式编程 Elixir

运行 client-go 测试用例.md

FeiLong

Kubernetes

JDK1.8新特性(四):函数式接口

xcbeyond

新特性 函数式编程 JDK1.8 JDK1.8新特性

架构师训练营作业 (第七周)

默默

分布式锁用 Redis 还是 Zookeeper?

xcbeyond

redis zookeeper 分布式锁

计算机网络基础(六)---网络层-网络地址转换NAT技术

书旅

laravel 计算机网络 网络协议 计算机基础 NAT

记一次西安thoughtworks的面试经历

xcbeyond

面试 thoughtworks

Vagrant 创建多台主机

FeiLong

vagrant 虚拟机

用 GitBook 创建一本书

耳东@Erdong

git markdown gitbook

IDEA 插件: EasyCode 一键生成所需代码

Bruce Duan

idea插件 easycode 生成代码

MySQL 大表优化方案

Bruce Duan

MySQL优化

自从用完Gradle后,有点嫌弃Maven了!速度贼快!

xcbeyond

maven Gradle

我关闭了微信朋友圈广告!

诸葛小猿

广告 微信朋友圈 关闭

关于性能优化的总结

罗亮

JDK1.8新特性(二):为什么要关注JDK1.8

xcbeyond

新特性 JDK1.8 JDK1.8新特性

JDK1.8新特性(五):Stream,集合操作利器,让你好用到飞起来

xcbeyond

stream 集合 新特性 JDK1.8 JDK1.8新特性

如何保证消息不丢失?处理重复消息?消息有序性?消息堆积处理?

Bruce Duan

消息队列 保证消息不丢失 处理重复消息 消息有序性 消息堆积处理

week7 总结 性能测试

a晖

redis系列之——事物及乐观锁

诸葛小猿

redis 乐观锁 事物 原子性 隔离性

Prometheus 删除指定 Metric

耳东@Erdong

Prometheus metrics

架构师训练营第七周作业--web压测工具

CATTY

架构师训练营 -- 第七周学习总结

花花大脸猫

分布式一致性协议与算法:拿下它,解决分布式系统 80% 核心问题 | 极客时间_架构_韩健_InfoQ精选文章