在 EKS 平台上合并 ALB Ingress Controller

发布于:2019 年 12 月 16 日 15:49

在 EKS 平台上合并 ALB Ingress Controller
## 1. 背景
复制代码
Kubernetes Ingress 是一种 API 对象,借助它可以管理对集群中运行的 Kubernetes 服务的外部(或)内部 HTTPS 访问,通过 ALB ingress controller 可以在 kubernetes 上部署服务时自动触发创建 ALB 以及必要的 AWS 支持资源。下图详细描述了用户定义了 Ingress 资源时 aws-alb-ingress-controller 将会创建的 AWS 组件。
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform1.jpg)
当客户在 EKS 上部署微服务时,他们发现 AWS ALB Ingress Controller 会为每个入口资源创建一个新的 ALB。 当客户有数百个微服务时,也会生成数百个 ALB,从管理和经济成本上分析,可能会让客户的使用成本变得非常高。 所以支持跨 ingress 资源重用 ALB 是客户的一个重要需求。 此外,每个帐户 ALB 的数量限制为 50 个, 如果超过此限制需要不断的提升 ALB 的数量,这增加了客户运维的风险和负担。因此,针对这个现状,结合开源项目实现了一套合并 ALB ingress controller 的方法来解决客户的问题,其原理是:合并 Ingress Controller 并允许创建 ingress 资源,这些 ingress 资源将被组合在一起以创建将由同一控制器管理的新入口资源,工作流程见下图:
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform2.jpg)
## 2. 合并过程
### 1) 前置条件
* Create an AWS account
* Create a Workspace
* Create an SSH key
* Install Kubernetes Tools
* Create an IAM role for your Workspace
* Attach the IAM role to your Workspace
* Update IAM settings for your Workspace
Note: 前置条件过程可以参考链接: https://eksworkshop.com/eksctl/
### 2) 安装 kubectl 过程
** 创建安装目录(可选)**
YAML
复制代码
$mkdir -p ~/.kube
复制代码
#### 安装 kubectl:
YAML
复制代码
$sudo curl --silent --location -o /usr/local/bin/kubectl " https://storage.googleapis.com/kubernetes-release/release/v1.14.9/bin/linux/amd64/kubectl" sudo chmod +x /usr/local/bin/kubectl
复制代码
#### 安装 AWS IAM Authenticator(或升级到 AWS CLI 的版本 1.16.232 或更高版本中):
YAML
复制代码
$ go get -u -v github.com/kubernetes-sigs/aws-iam-authenticator/cmd/aws-iam-authenticator
sudo mv ~/go/bin/aws-iam-authenticator /usr/local/bin/aws-iam-authenticator
复制代码
#### 注:AWS CLI 的版本 1.16.232 或更高版本中可用的 aws eks get-token 命令支持客户端安全令牌创建
#### ,所以也可以升级当前的 AWS cli 到最新版本,可以参考如下链接:
https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/install-cliv2-linux.html
#### 安装 JQ:
sudo yum -y install jq
** 下载与安装 ** **** **eksctl** **:**
YAML
复制代码
$curl --silent --location "https://github.com/weaveworks/eksctl/releases/download/latest_release/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp
$sudo mv -v /tmp/eksctl /usr/local/bin
$eksctl version
复制代码
###
### 3) 创建 EKS 集群(命令行中的 AWS_REGION 换成真实 region)并开启访问 alb-ingress 权限
YAML
复制代码
$eksctl create cluster --name=eksworkshop-eksctl --nodes=3 --node-ami=auto --region=${AWS_REGION} --alb-ingress-access
$kubectl get nodes
复制代码
###
### 4) 部署 Ingress_controller
YAML
复制代码
$kubectl apply -f https://raw.githubusercontent.com/kubernetes-sigs/aws-alb-ingress-controller/v1.1.3/docs/examples/rbac-role.yaml
$ curl -sS "https://raw.githubusercontent.com/kubernetes-sigs/aws-alb-ingress-controller/v1.0.0/docs/examples/alb-ingress-controller.yaml" > alb-ingress-controller.yaml
Note:Change the parameter of alb-ingress-controller.yaml:–cluster-name = cluster-name
$ kubectl apply -f alb-ingress-controller.yaml
$kubectl logs -n kube-system $(kubectl get po -n kube-system | egrep -o alb-ingress[a-zA-Z0-9-]+)
复制代码
### 5) 安装 Ingress-Merge
YAML
复制代码
$helm install --namespace kube-system --name ingress-merge ./helm
复制代码
###
### 6) 部署 demo application 2048
YAML
复制代码
$curl -sS "https://raw.githubusercontent.com/kubernetes-sigs/aws-alb-ingress-controller/v1.1.3/docs/examples/2048/2048-namespace.yaml" > 2048-namespace.yaml
$ curl -sS "https://raw.githubusercontent.com/kubernetes-sigs/aws-alb-ingress-controller/v1.1.3/docs/examples/2048/2048-deployment.yaml " > 2048-deployment.yaml
$ curl -sS "https://raw.githubusercontent.com/kubernetes-sigs/aws-alb-ingress-controller/v1.1.3/docs/examples/2048/2048-service.yaml" > 2048-service.yaml
$kubectl apply -f 2048-namespace.yaml
$kubectl apply -f 2048-deployment.yaml
$kubectl apply -f 2048-service.yaml
复制代码
### 7) 部署 demo application echoserver
YAML
复制代码
$ curl -sS "https://github.com/kubernetes-sigs/aws-alb-ingress-controller/blob/master/docs/examples/echoservice/echoserver-deployment.yaml" > echoserver-deployment.yaml
$ curl -sS "https://github.com/kubernetes-sigs/aws-alb-ingress-controller/blob/master/docs/examples/echoservice/echoserver-service.yaml" > echoserver-service.yaml
复制代码
#### **Note**: 修改 echoserver 相关的 yaml 文件中的 namespace 为同一个.
###
### 8) 创建 configmap
YAML
复制代码
$ cat merge-ingress-cm.yaml
apiVersion: v1
kind: ConfigMap
metadata:
name: merged-ingress
namespace: game
data:
annotations: |
kubernetes.io/ingress.class: alb
alb.ingress.kubernetes.io/scheme: internet-facing
$kubectl apply -f merge-ingress-cm.yaml
复制代码
### 9) 创建 Merge ingress
YAML
复制代码
$ cat merge-ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: echoserver-ingress
namespace: game
annotations:
kubernetes.io/ingress.class: merge
merge.ingress.kubernetes.io/config: merged-ingress
labels:
app: echoserver-ingress
spec:
rules:
- http:
paths:
- path: /echo
backend:
serviceName: echoserver
servicePort: 8080
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: "2048-ingress"
namespace: "game"
annotations:
kubernetes.io/ingress.class: merge
merge.ingress.kubernetes.io/config: merged-ingress
labels:
app: 2048-ingress
spec:
rules:
- http:
paths:
- path: /*
backend:
serviceName: "service-2048"
servicePort: 80
$kubectl apply -f merge-ingress.yaml
$ cat ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
name: merged-ingress
namespace: game
annotations:
kubernetes.io/ingress.class: alb
alb.ingress.kubernetes.io/scheme: internet-facing
spec:
rules:
- http:
paths:
- path: /echo
backend:
serviceName: echoserver
servicePort: 8080
- path: /game
backend:
serviceName: service-2048
servicePort: 80
复制代码
$kubectl apply -f ingress.yaml
### 10) 检查生成的 ALB 和对应的规则
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform3.jpg)
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform4.jpg)
###
### 11) 访问这个服务来验证,出现如下内容即表示成功
第一个是 echoserver:
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform5.jpg)
第二个是 2048
![](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/merging-alb-progress-controller-on-the-eks-platform6.jpg)
#### 注:请自行修改 nginx 中对于 path 的处理逻辑。
###
### 12) 总结
通过 ingress-merge-controller 将服务对应的 rules 附加到 ALB 上,这样我们完成了原来需要两个 ALB 合并成一个 ALB 的目的,减少了客户管理的 ALB 的数量并由此可以降低成本。
需要提醒大家以下几点:
* Ingress controller 只支持 http 和 Https 协议;
* 服务只支持 nodeport 和 Loadbalancer 类型,即:Type=NodePort 或 Service.Type=LoadBalancer
###
### 13) 参考资料
https://github.com/jakubkulhan/ingress-merge
https://github.com/kubernetes-sigs/aws-alb-ingress-controller

作者介绍:


在 EKS 平台上合并 ALB Ingress Controller

复制代码
王建利,AWS 解决方案架构师,主要负责企业级大客户的上云工作,服务客户涵盖从能源,互联网,传统生产制造,擅长 DevOps 和容器领域。具备 15 年 IT 专业服务经验,历任程序设计师、项目经理、解决方案架构师。
</footer>

本文转载自 AWS 技术博客。

原文链接: https://amazonaws-china.com/cn/blogs/china/merging-alb-progress-controller-on-the-eks-platform/

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

阅读数:142 发布于:2019 年 12 月 16 日 15:49

更多 语言 & 开发、文化 & 方法、AWS 相关课程,可下载【 极客时间 】App 免费领取 >

评论

发布
暂无评论