写点什么

LB 服务:软 LB 的服务能力(下)

  • 2020-03-30
  • 本文字数:2465 字

    阅读完需:约 8 分钟

LB服务:软LB的服务能力(下)

LVS 的工作模式,主要包含三种:DR、Fullnat、Tunnel。

DR

在 DR 模式下,LVS 上会配置服务虚 IP,同时要求后端的 real server 上也会配置该 IP 地址,即 LVS 与后端服务器处于同一个网段。当 client 有报文发送到 LVS 的时候,LVS 不会修改报文的 IP 地址,而是修改了报文的目的 mac 地址为 real server 的地址,后往后端 server 上送。real server 回包直接回给网关,后发给 client,不再经过 LVS。



可以认为,DR 是一种基于后端 mac 地址的负载分发方式,LVS 会将报文按照负载均衡算法,轮询给后端的不同 mac 地址。


DR 模式的好处就是,回包不经过 LVS,回城可以达到比较高的性能。缺点是,LVS 与后端要求在一个二层网络中,部署不太灵活。

Fullnat

Fullnat 模式下,服务虚 IP 配在 LVS 上,报文路由到 LVS 以后,LVS 先根据负载均衡算法确定分给哪一个后端 real server,然后对报文的源地址和目的地址都做了转换。目的地址改成 real server 的地址,源地址改成 LVS 自身地址。


报文路由到 real server 以后,real server 回包报文目的地址为 LVS 的地址,报文会回到 LVS 上。LVS 把报文源地址和目的地址还原成 VIP 和 client 地址,回给 client。



由于报文在 LVS 出做了 fullnat 后,按照 IP 地址寻址转发,所以后端 real server 不再需要与 LVS 在同一个二层网络里面,支持更灵活的组网方案。


而 fullnat 模式的缺点,LVS 做了源地址转换以后,服务端无法看到访问者的源 IP,将无法针对访问者进行分析。而当今大多数的游戏等应用,都需要知道是谁访问的自己,做客户来源分析等。而源地址可见,却正是 DR 模式的优点。

Tunnel

前面说了,DR 模式的优点是源地址可见,fullnat 模式的优点是可以拉远部署,那是否存在一种方式,既能拉远部署又能保持源地址可见?当然有,那就是 tunnel 模式。


Tunnel 模式的原理是,LVS 自己和后端所有的 real server(或 VM 的 host)之间建立了隧道,报文到了 LVS 以后,LVS 根据负载均衡算法,确定分给哪一个 real server,同时确定应该走到哪一个隧道上去。LVS 对于报文是否做了转换?其实标准的 LVS 是没有对报文做转换的,但是部分友商为了能对报文进行分析,做了一些修改。


传统的 LVS,报文目的 IP 依然保持 vip,直接走到 real server,real server 上需要配置 vip,请求受理完成以后,直接可回给 client,不需要经过 LVS;企业改造以后,LVS 会把报文的目的 IP 改成 real server 的 IP 地址,然后再进隧道。real server 不需要再配置 vip,但回包要先送回到 LVS,方便 LVS 对报文进行分析统计。



在公有云上,一般 LVS 是跟 host 主机的 VTEP IP 建立隧道。


而隧道的选择,一般选择 GRE 隧道或者是 VXLAN 隧道。不同的友商根据自己的技术能力和场景不同,可以选择不同的协议。华为云选择什么?自然是 VXLAN。


网上介绍 LVS 的文档基本上将到这里就完了,但作为一个物理网络虚拟网络都有一丁点认识的小兵,笔者在此再给各位读者吐槽一下 LVS 的一个坑人的地方。

ECMP 引流

传统的四层交换,基本上都是主备部署。主备之间跑 VRRP,对于上层路由设备来说,发送 ARP 请求,是可以很明确的学习到四层交换的实 IP 或者是虚 IP 的 mac 地址,进而指导传统的路由交换,将报文引给四层交换。


主备部署,平时工作的就只有主一台设备,这也是我们吐槽硬件设备的一个地方——无法平滑拓展。但是,LVS 如何解决这个问题呢?LVS 如果再主备部署,性能只会比硬件更加差。Linux 程序员设计出来的负载均衡,那当然是集群部署了。


可是,在 LVS 集群部署的时候,多台 LVS 的配置完全一致,虚 IP 地址都是一样的,如何规避如下两个问题:


1、 IP 地址/mac 地址在一个二层网络内部冲突如何解决?


2、 上层设备,怎么知道应该路由给谁?


二层网络内,服务虚 IP 对于 LVS 来说,并不是接口 IP,本身是不会发送 ARP 也不会响应 ARP。避免 IP 地址冲突的问题,当然,也意味着二层内部是无法访问到虚 IP 的。


所有访问 LVS 虚 IP 的流量,都需要三层转发,而上层路由设备,需要通过等价路由 ECMP 给多台 LVS 分流。



如图,各个 LVS 服务器除了本身有相同的虚 IP 以外,还需要每台设备有唯一的接口 IP 地址,上层的网关设备上,根据路由将报文发送给接口 IP。路由形成的方式有两种:静态配置等价路由、LVS 与网关建立动态路由形成等价路由。

静态配置等价路由

如上图,可以手工在网关设备上配置静态路由,以指导流量转发。


Ip route-static 10.10.10.10 255.255.255.255 192.168.1.10Ip route-static 10.10.10.10 255.255.255.255 192.168.1.11Ip route-static 10.10.10.10 255.255.255.255 192.168.1.12
复制代码


当然,静态路由上需要增加 NQA 探测,以使得某台 LVS 故障以后,可以快速撤销对应的路由。

动态形成等价路由

LVS 和网关设备之间建立动态路由协议邻居,LVS 将本地虚 IP 地址通告给网关,网关上行成多条等价路由指导转发。



如图,LVS 与网关之间跑 OSPF 或者 BGP,将 10.10.10.10 的 IP 地址同时通告给网关,网关会形成 3 条等价路径。当某台设备故障时,协议之间心跳探测失败,路由自动撤销。


只有实现了 ECMP 引流以后,LVS 才能横向拓展,通过 N 台设备的组合,实现亿级并发能力。

ELB 服务

要使用华为云的 ELB 服务,有几个概念需要先理解一下。


华为云的 ELB 和 EIP 是分开的,EIP 申请了以后,可以挂到 ECS 上,也可以挂到 ELB 上,还可以挂到 NAT 网关上。


申请 ELB 实例,需要创建监听器,监听器为 ELB 实例所对外提供服务的特性特点,如分发协议,保持方式等。


对于后端服务器的检查,需要配置检查类型、协议、周期等。后端检查的方式。


下面一张图简单描述:



更多的 ELB 实例的材料可以在链接获取。


对应于传统的四层交换来说,LB 有 GSLB、LSLB、LLB。这里讲的 LVS,替代的就是传统的 LSLB。


那 GSLB 和 LLB 呢?


GSLB 通过智能 DNS 来取代,华为的智能 DNS 还在开发中,敬请期待。


LLB,通过 BGP IP 就已经可以实现了,不需要额外的负载均衡,下一期我们重点讲解一下公有云的动态 BGP 和静态 BGP 的概念。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/wIMoqfTSjjHCpKXAepXbRg


2020-03-30 10:471005

评论

发布
暂无评论
发现更多内容

# LeetCode 863. All Nodes Distance K in Binary Tree

liu_liu

算法 LeetCode

程序员修炼的务实哲学

博文视点Broadview

程序员 软件 编程思维 工程师 编程之路

Vue生态篇(一)

shirley

Java Vue

你不知道的SSD那些事

焱融科技

分布式 存储 SSD nvme

我的 Windows 利器

玄兴梦影

工具 Win

数据产品经理实战-数据门户搭建(上)

第519区

数据中台 开发数据

我为什么开始技术写作?

架构精进之路

技术创作

每个人都是领导者的工程团队

hongfei

工程能力 项目实践

我常用的浏览器插件

彭宏豪95

chrome 效率工具 浏览器 插件

知识也会生宝宝?

史方远

个人成长 随笔杂谈

这是一个测试文档

Geek_073cad

ARTS - Week Two

shepherd

js algorithm

【Java 25周年有奖征文获奖名单公布!!!】关于Java,你最想赞扬、吐槽、期待的变化是什么?

InfoQ写作社区官方

写作平台 Java25周年 热门活动

MySQL的各种日志

超超不会飞

MySQL

情绪的力量:如何使用情绪来达成目标

董一凡

情绪

Vue生态篇(二)

shirley

Vue

patroni 通过服务启动报错

hobson

数据库 高可用 AntDB

杂谈-JSONP探索

卡尔

Java jsonp

Python 自动化办公之"你还在手动操作“文件”或“文件夹”吗?"

JackTian

Python 自动化

从 0 到 1 搭建技术中台之发布系统实践:集泳道、灰度、四端和多区域于一体的设计与权衡

伴鱼技术团队

架构 系统设计 系统架构 系统性思考 架构设计

ARTS 第二周打卡

陈文昕

一个人,沿着童年的路究竟可以走多远?

zhoo299

童年 NASA 航天

原创 | 使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (十三)编写测试-生命周期方法

编程道与术

Java 编程 TDD 单元测试 JUnit

Redis持久化了解一波!

不才陈某

redis 程序员 后端

线程池续:你必须要知道的线程池submit()实现原理之FutureTask!

一枝花算不算浪漫

源码分析 并发编程

# LeetCode 215. Kth Largest Element in an Array

liu_liu

算法 LeetCode

开源分布式文件系统大检阅

焱融科技

开源 sds 存储 焱融科技 文件存储

Go语言分布式系统配置治理

田晓亮

微服务

互联网时代的界限管理

非著名程序员

程序员 职场 提升认知 界限管理

美团可能会强势涉足 ToB

罗小布

创业 互联网巨头 深度思考 互联网

奈学:传授“带权重的负载均衡实现算法”独家设计思路

奈学教育

分布式

LB服务:软LB的服务能力(下)_语言 & 开发_华为云产品与解决方案_InfoQ精选文章