AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

Kube-OVN:基于 OVN 的开源 Kubernetes 网络实践

  • 2019-05-13
  • 本文字数:3722 字

    阅读完需:约 12 分钟

Kube-OVN:基于OVN的开源Kubernetes网络实践

今天,许多企业开始运行 Kubernetes 集群,并从中受益。但我们仍然不得不承认,Kubernetes 底层实现非常复杂,这其中一个最复杂,就是网络相关的部件。

Kube-OVN 开源网络插件诞生初衷

从当前 Kubernetes 网络现状来看,Kubernetes 网络相关的组件非常分散。比如,CNI 负责基础容器网络,它本身只是个接口标准,社区和市场上都有很多各自的实现;集群内的服务发现网络需要依赖 kube-proxy,而 kube-proxy 又有 iptables 和 ipvs 两种实现;集群内的 DNS 需要依赖额外组件 kube-dns 或 coredns;集群对外访问的负载均衡器服务需要依赖各个云厂商提供的 Cloud-Provider;网络策略的 NetworkPolicy 本身只是一个标准接口,社区中也有各自不同的实现。此外还有 ingress,Kubernetes 提供的只是一个标准接口,社区中同样有各自的实现。


分散的网络组件导致容器网络流量被分散到了不同的网络组件上,一旦出现问题需要在多个组件间游走逐个排查。在实际运维过程中网络问题通常是最难排查的,需要维护人员掌握全链路上所有组件的使用、原理以及排查方式。因此,如果有一个网络方案能够将所有数据平面统一,那么出现问题时只需要排查一个组件即可。


其次,现有网络插件种类繁多,但是在落地时会发现,每个网络插件由于覆盖的功能集合不同,很难在所有场景使用同一套方案。为了满足不同的客户需求,很多厂商一度同时支持多种网络方案,给自身带来很大负担。在落地过程中,还发现很多传统的网络方案在容器网络中是缺失的。一些高级功能是所有网络插件都无法满足的,比如:子网划分、vlan 绑定、nat、qos、固定 IP、基于 acl 的网络策略等等。


现有 Kubernetes 网络能力是否足够?答案很明显,如果真的已经足够强大,落地的时候就不会出现这么多的问题。从更大的格局来看,Kubernetes 本质上是提供了一层虚拟化网络。而虚拟化网络并不是一个新问题。在 OpenStack 社区,虚拟网络已经有了长足的发展,方案比较成熟,OVS 基本已经成为网络虚拟化的标准。

什么是 OVN?

OVS 是一个单机的虚拟网络交换机,同时支持 OpenFlow,可以实现复杂的网络流量编程,这也是网络虚拟化的基础。通过 OVS 和 OpenFlow 可以实现细粒度的流量控制。如果做个类比,OVS 相当于网络虚拟化里的 Docker。


OVS 只是个单机程序,想生成一个集群规模的虚拟网络就需要一个控制器,这就是 OVN。OVN 和 OVS 的关系就好比 Kubernetes 和 Docker 的关系。OVN 会将高层次的网络抽象转换成具体的网络配置和流表,下发到各个节点的 OVS 上,实现集群网络的管理。


由于 OVN 最初是为 OpenStack 网络功能设计的,提供了大量 Kubernetes 网络目前不存在的功能:


L2/L3 网络虚拟化包括:


  • 分布式交换机,分布式路由器;

  • L2 到 L4 的 ACL;

  • 内部和外部负载均衡器;

  • QoS,NAT,分布式 DNS;

  • Gateway;

  • IPv4/IPv6 支持。


此外 OVN 支持多平台,可以在 Linux,Windows,KVM,XEN,Hyper-V 以及 DPDK 的环境下运行。


从上面可以看出, OVN 可以覆盖 CNI, Kube-Proxy, LoadBalancer, NetworkPolicy, DNS 等在内的所有 Kubernetes 网络功能,并在原有基础上都有所增强。那么,何不尝试把之前在 OpenStack 领域内成熟的网络功能平移到 Kubernetes 上呢,于是就诞生了这个开源项目 Kube-OVN。Kube-OVN 提供了大量目前 Kubernetes 不具备的网络功能,并在原有基础上进行增强。通过将 OpenStack 领域成熟的网络功能平移到 Kubernetes,来应对更加复杂的基础环境和应用合规性要求。

Kube-OVN 重要功能及实现

目前大部分网络插件的网络拓扑都是一个大二层网络,通过防火墙做隔离,这种形式非常类似公有云早期的经典网络。Kube-OVN 在设计网络支出时,同时把多租户的场景考虑进来,方便之后更好的扩展高级功能,因此采用了不同的网络拓扑。



Kube-OVN 网络拓扑


在 Kube-OVN 的网络拓扑里,不同 Namespace 对应着不同的子网。子网是其中最为重要的概念,之后的内置负载均衡器,防火墙,路由策略以及 DNS 的网络功能都是和子网绑定的。我们做到了同一台机器的不同 pod 可以使用不同的子网,多个子网之间使用一个虚拟路由器进行网络的联通。为了满足 Kubernetes 中主机可以和容器互通的网络要求,Kube-OVN 在每个主机新增一块虚拟网卡,并接入一个单独的虚拟交换机和集群的虚拟路由器相连,来实现主机和容器网络的互通。


在容器访问外部网络的策略中,Kube-OVN 设计了两种方案:一种是分布式 Gateway,每台主机都可以作为当前主机上 Pod 的出网节点,做到出网的分布式。针对企业需要对流量进行审计,希望使用固定 IP 出网的场景,还做了和 namespace 绑定的 Gateway,可以做到一个 namespace 下的 Pod 使用一个集中式的主机出网。在整个网络拓扑中,除了集中式网关,交换机,路由器,防火墙,负载均衡器,DNS 都是分布在每个节点上的,不存在网络的单点。



Kube-OVN 架构图


在实现的过程中,Kube-OVN 对组件架构进行了大幅的简化,整个流程中只需要一个全局 Controller 和分布在每台机器上的 CNI 插件,就可以组建网络,整体安装十分简单。其中全局 Controller 负责监听 API Server 事件,针对 Namespace,Pod,Service,Endpoint 等和网络相关的资源变化对 OVN 进行操作。同时 Controller 会把操作 OVN 的结果,例如 IP ,Mac,网关,路由等信息回写到对应资源的 annotation 中,而 CNI 插件则根据回写的 annotation 信息操作本机的 OVS 以及主机网络配置。通过这种架构 Kube-OVN 将 CNI 插件和、Controller 和 OVN 解耦,通过 Apiserver 传递所需的网络信息,方便快速开发迭代。


Kube-OVN 选择使用最基础的 annotation ,而不是 CRD、API Aggregation 或者 Operator,也是出于降低复杂度的考虑,使用户和开发者都能够快速上手。


Kube-OVN 主要具备五大主要功能:


  1. Namespace 和子网的绑定,以及子网间访问控制;

  2. 静态 IP 分配;

  3. 动态 QoS;

  4. 分布式和集中式网关;

  5. 内嵌 LoadBalancer。


子网是 Kube-OVN 中最重要的概念,由于子网和 namespace 关联,因此只需要在 namespace 中设置对应的 annotation 就可以完成子网的功能。Kube-OVN 支持子网 cidr,gateway,exclude_ips 以及 switch_name 的设置。同时支持基于子网的 IP 隔离,用户可以轻松实施基本的网络隔离策略。在后台实现上,Kube-OVN 会监听 namespace 的变化,并根据变化在 ovn 中创建并设置虚拟交换机,将其和集群路由器关联,设置对应的 acl,dns 和 lb。


静态 IP 的使用可以直接在 Pod 中加入对应的 annotation,Controller 在发现相关 annotation 时会跳过自动分配阶段,直接使用用户指定的 IP/Mac。对应多 Pod 的工作负载,例如 Deployment、DaemonSet,可以指定一个 ip-pool,工作负载下的 Pod 会自动使用 ip-pool 中未使用的地址。


在 QoS 功能中,分别实现了 ingress 和 egress 的带宽限制,用户可以在 Pod 运行时通过动态调整 annotation 来实现 QoS 的动态调整,而无需重启 Pod。在后台的实现中, OVN 自带的 QoS 功能工作在 Tunnel 端口,无法对同主机间 Pod 的互访做 QoS 控制。因此 Kube-OVN 最终通过操作 OVS 的 ingress_policing_rate 和 port qos 字段来实现 QoS 的控制。


在网关设计中,OVN 的网关功能有一些使用限制,需要单独的网卡来做 overlay 和 underlay 的流量交换,使用起来比较复杂,为了能够适应更广泛的网络条件并简化用户使用,Kube-OVN 对网关部分进行了调整。使用策略路由的方式根据网络包的源 IP 选择下一跳的机器,通过这种方式将流量导入所希望的边界网关节点,然后在网关节点通过 SNAT 的方式对外进行访问。这种方式用户只需要在 namespace 中配置一个网关节点的 annotation 就可以配置对应的流量规则。此外,Kube-OVN 也支持非 SNAT 将容器 IP 直接暴露给外网的场景,这种情况下只需要外部添加一条静态路由指向容器网络,就可以实现 Pod IP 直接和外部互通。


内嵌的 LoadBalancer 使用 OVN 内置的 L2 LB,这样集群内部的服务发现功能可以直接在 OVS 层面完成,不需要走到宿主机的 iptable 或者 ipvs 规则,可以将 kube-porxy 的功能整合到 Kube-OVN 中。

下一步开源计划

目前 Kube-OVN 已经在 github 上开源。OVN 安装比较繁琐,Kube-OVN 特意做了安装的简化,现在只需要两个 yaml 就可以部署一个完整的 Kube-OVN。在使用方面也做了优化,通过直观的 annotation 即可对网络进行配置。此外还针对不使用任何 annotation 的情况内置了一套默认配置。用户可以使用默认的子网,默认的 IP 分配策略,默认的分布式网关以及内嵌的负载均衡器,这些都不需要任何配置就可以默认启用。欢迎大家体验试用,多提反馈和意见。


近期 Kube-OVN 开源项目将主要着力于实现三大目标:第一,集中式网关的高可用,消灭整个架构中最后一个单点;第二,内嵌 DNS,去除 Kube-DNS/CoreDNS 的依赖,将整个数据平面用 OVN 进行统一;第三,NetworkPolicy 实现。


长期来看,未来将实现对 DPDK 和 Hardware Offload 的支持,解决 Overlay 网络性能问题;将更多的 OVS 监控和链路追踪工具引入 Kubernetes;将 OpenStack 社区的网络功能向 Kubernetes 平移,打造更完整的网络体系。


目前 Kube-OVN 项目代码已经在 Github 上开源,项目地址为:https://github.com/alauda/kube-ovn。项目使用宽松的Apache 2.0 协议,欢迎更多技术开发者和爱好者前去试用和使用。


2019-05-13 11:009349

评论

发布
暂无评论
发现更多内容

面向复杂度架构设计之学生管理系统

晨亮

「架构实战营」

混沌工程之ChaosMesh使用之模拟CPU使用率

zuozewei

混沌工程 Chaos Mesh 1月月更

深入理解Python内存管理与垃圾回收

宇宙之一粟

Python 内存管理 1月月更

Hive企业级性能优化

五分钟学大数据

hive 1月月更

一文了解 MySQL 中的锁

Ayue、

MySQL 数据库 1月月更

Awesome DAO 文章和资源推荐(8/100)

hackstoic

DAO

一个cpp协程库的前世今生(二十四)对象池与栈内存池

SkyFire

c++ cocpp

SAST 为什么会成为网络安全领域的下一件大事?

旋极智能

静态分析 静态测试工具 代码静态分析

征文投稿丨在轻量应用服务器上部署SpringBoot项目

阿里云弹性计算

阿里云 用户投稿 轻量应用

亚信科技AntDB数据库荣获“2021金融科技应用创新突出贡献奖”

亚信AntDB数据库

AntDB 金融行业 亚信科技

作业帮基于 Flink 的实时计算平台实践

Apache Flink

大数据 flink 编程 实时计算 IT

微信业务架构、学生管理系统(草稿)

Geek_16d2b8

架构训练营

代码之外的生存指南,先掌握这五步。

叶小鍵

Fabric.js 将本地图像上传到画布背景

德育处主任

前端 数据可视化 前端可视化 FabricJS Fabric.js

模块一

Geek_f3e842

架构实战营

微信业务架构图及学生管理系统架构设计实践

IT屠狗辈

系统架构 架构实战营 微信业务架构图

如何使用JavaScript开发AR(增强现实)移动应用

汪子熙

JavaScript AR 1月月更 增强现实

用 K3s 来运行安装和极狐GitLab Runner

极狐GitLab

微信业务架构图 & 学生管理系统架构设计

smile

架构实战营

Hive 数据倾斜问题定位排查及解决

五分钟学大数据

hive 1月月更

TortoiseSVN 执行清理( cleanUp )失败的解决方案

编程三昧

svn 开发工具 1月月更

低代码实现探索(三十)低代码设计器设计方式

零道云-混合式低代码平台

行业先锋畅聊 Flink 未来 —— FFA 2021 圆桌会议(北京)

Apache Flink

大数据 flink 编程 后端 实时计算

Mybatis中的VFS是个啥

尹昶胜

mybatis

微信业务架构+学生管理系统毕设方案

李大虾

#架构实战营 「架构实战营」

Web or Native 哪个才是元宇宙的未来(下)?

Orillusion

WebGL 元宇宙 Metaverse webgpu

农业掀起“上链”潮 区块链等数字技术正成为乡村振兴新动力

CECBC

直播回顾:准确性提升到 5 秒级,ssar 独创的 load5s 指标有多硬核?| 龙蜥技术

OpenAnolis小助手

Linux 开源

SparkSQL的入门实践教程

华为云开发者联盟

sql spark 编程 Sparksql 结构化数据

自动驾驶浪潮下,如何给技术迭代插上数据的“翅膀”?

澳鹏Appen

人工智能 自动驾驶 智能汽车 智能驾驶 数据标注

一条SQL查询语句是如何执行的?

蝉沐风

MySQL sql 面试

Kube-OVN:基于OVN的开源Kubernetes网络实践_开源_刘梦馨_InfoQ精选文章