Kubernetes NetworkPolicy 工作原理浅析

阅读数:33 2019 年 11 月 26 日 17:13

Kubernetes NetworkPolicy 工作原理浅析

Kubernetes 能够把集群中不同 Node 节点上的 Pod 连接起来,并且默认情况下,每个 Pod 之间是可以相互访问的。但在某些场景中,不同的 Pod 不应该互通,这个时候就需要进行访问控制。那么如何实现呢?

简介

Kubernetes 提供了 NetworkPolicy 的 Feature,支持按 Namespace 和按 Pod 级别的网络访问控制。它利用 label 指定 namespaces 或 pod,底层用 iptables 实现。这篇文章简单介绍 Kubernetes NetworkPolicy 在 Calico 上的工作原理。

1 控制面数据流

Network Policy 是一种 kubernetes 资源,经过定义、存储、配置等流程使其生效。以下是简要流程:

Kubernetes NetworkPolicy 工作原理浅析

  • 通过 kubectl client 创建 network policy 资源;
  • calico 的 policy-controller 监听 network policy 资源,获取到后写入 calico 的 etcd 数据库;
  • node 上 calico-felix 从 etcd 数据库中获取 policy 资源,调用 iptables 做相应配置。

2 资源配置模板

Network Policy 支持按 Pod 和 Namespace 级别的访问控制,定义该资源可以参考以下模板。

指定 pod 标签访问

我们要对 namespace 为 myns,带有 "role: backend" 标签的所有 pod 进行访问控制:只允许标签为 "role: frontend" 的 Pod,并且 TCP 端口为 6379 的数据流入,其他流量都不允许。

Kubernetes NetworkPolicy 工作原理浅析

指定 namespaces 标签访问

我们要对标签为 "role: frontend" 的所有 Pod 进行访问控制:只允许 namespace 标签为 "user: bob" 的各 Pod,并且 TCP 端口为 443 的数据流入,其他流量都不允许。

Kubernetes NetworkPolicy 工作原理浅析

3 NetworkPolicy 数据结构定义

看完上边的示例,想必大家对 NetworkPolicy 的资源对象有一定的了解。接下来我们具体看下 Kubernetes 对该接口的定义:

Kubernetes NetworkPolicy 工作原理浅析

简而言之,该资源指定了“被控制访问 Pod”和“准入 Pod”两类 Pod,这可以从 spec 的 podSelector 和 ingress-from 的 Selector 进行配置。

接下来我们就看下 Kubernetes+Calico 的 Network policy 实现细节。

4 测试版本

以下是测试中使用的组件版本:

  • kubernetes:
    - master: v1.9.0
    - node: v1.9.0

  • calico:
    - v2.5.0
    - calico-policy-controller

(quay.io/calico/kube-policy-controller:v0.7.0)

5 运行配置

calico 侧,除基本配置外的新建资源:

  • service-account: calico-policy-controller
  • rbac:
    - ServiceRole: calico-policy-controller
    - ServiceRoleBinding: calico-policy-controller
  • deployment: calico-policy-controller

Kubernets 侧,新建 network policy 资源;

6 运行状态

在原有正常工作的 Kubernetes 集群上,我们新加了 calico-policy-controller 容器,它里面主要运行 controller 进程:

  • calico-policy-controller:
    - 进程
    Kubernetes NetworkPolicy 工作原理浅析
    - 端口:
    Kubernetes NetworkPolicy 工作原理浅析

我们可以看到,启动了 controller 进程,该进程 Established 两个端口:6443 对应的 kubernetes api-server 端口;2379 对应的 calico etcd 端口。

7 Calico-felix 对 policy 的配置

数据包走向

下图是 calico 流量处理流程 (从这里找到)。每个 Node 的 calico-felix 从 etcd 数据库拿下来 policy 信息,用 iptables 做底层实现,最主要的就是:cali-pi-[POLICY]@filter 这个 Chain。

Network Policy 报文处理过程中使用的标记位:

0x2000000: 是否已经经过了 policy 规则检测,置 1 表示已经过

符号解释:

from-XXX: XXX 发出的报文; tw: 简写,to wordkoad endpoint; to-XXX: 发送到 XXX 的报文; po: 简写,policy outbound; cali-: 前缀,calico 的规则链; pi: 简写,policy inbound; wl: 简写,workload endpoint; pro: 简写,profile outbound; fw: 简写,from workload endpoint; pri: 简写,profile inbound。

Kubernetes NetworkPolicy 工作原理浅析

下面通过访问“禁止所有流量”策略的 Pod,来观察对应的 iptables 处理:

流量进入前

Kubernetes NetworkPolicy 工作原理浅析

流量进入后

Kubernetes NetworkPolicy 工作原理浅析

可以看到,DROP 的 pkts 由 0 变成了 3。即该数据包经过 MARK、cali-pi-default.web-deny-all 两个 target 处理,被标记符合“拒绝”条件,流经到 DROP 被丢弃。

8 流程分析案例

以下是一个“禁止所有流量进入”的测试案例,通过它看下整体流程。

模型

DENY all traffic to an application

Kubernetes NetworkPolicy 工作原理浅析

查看 app-web 的标签

在 default 的 namespace 下创建了一个名称为 web 的 service。它的 IP 和标签如下:

Kubernetes NetworkPolicy 工作原理浅析

配置 policy

首先通过 kubectl 查看 k8s 资源:

Kubernetes NetworkPolicy 工作原理浅析

再次,通过 calicoctl 和 etcdctl 查看 calico 资源:

Kubernetes NetworkPolicy 工作原理浅析

查看 felix 进行 network policy 配置的日志

增加 && 删除 Policy

Kubernetes NetworkPolicy 工作原理浅析

查看 node 上的 iptables 规则

Kubernetes NetworkPolicy 工作原理浅析

从另一 pod 上访问该服务

Kubernetes NetworkPolicy 工作原理浅析

可见,访问该 service 的 80 端口失败;ping 所对应的 Pod 试试:

Kubernetes NetworkPolicy 工作原理浅析

Ping 该 Pod 也是失败,达到了“禁止所有流量进入”的预期。

9 总结

Kubernetes 的 NetworkPolicy 实现了访问控制,解决了部分网络安全的问题。但截至现在,Kubernetes、Calico 对其支持尚未完全,部分特性 (egress 等) 仍在进行中;另一方面 calico 的每个 Node 上配置大量 iptables 规则,加上不同维度控制的增加,导致运维、排障难度较大。所以对网络访问控制有需求的用户来讲,能否使用还需综合考虑。

本文转载自公众号 360 云计算(ID:hulktalk)。

原文链接:

https://mp.weixin.qq.com/s/a1pa2IeVFWKpfWmzzXiIiQ

评论

发布