随着Kubernetes技术热度的不断提升，大容器时代的序幕已经开启。容器技术日新月异，在企业应用实践中得到了不断的发展，高效的运维、管理和部署都成为云服务的重头戏。而与此同时，Kubernetes虽然降低了容器的使用门槛，但其本身的技术门槛却并不低，这种矛盾引起了开发者的关注，也成功在2018年将Kubernetes推到了顶峰。

因文章略长，故分为三篇展开呈现，本篇为第一篇。

6月30日，腾讯云联合InfoQ举办的云+社区技术沙龙，以Kubernetes 上云一键部署、云上大规模计算平台构建、CIS底层技术实现、Tencent Hub技术架构与DevOps落地实践等五大主题内容，分享容器与k8s技术的部署优化与应用实践。本文整理了讲师演讲精彩内容！

Kubernetes 上云一键部署实践

在2016年底，腾讯云开始提供全托管Kubernetes服务，主要提供了四个方面的功能，第一，一键部署完全隔离的Kubernetes服务，用户独享所有结算节点和控制节点，并提供集群的全生命周期管理；第二，为方便Kubernetes使用，在控制台进行了界面包装，通过可视化的方式创建负载，避免手工编写代码；第三，提供周边监控能力，与腾讯云监控产品打通，直接在产品界面上使用；第四，在Kubernetes集群外还提供了Docker镜像仓库、Tencent Hub、CI/CD等功能，提供一站式应用上云解决方案。

腾讯云容器服务 Kubernetes 组件一览

Kubernetes的运行需要进行Master组件和Node组件的初始化。

Master组件最简单的部署要包括Kube-apiserver、Kube-contioller-mannager和kube-scheduler。Kube-apiserver是整个集群的集中存储器，其功能包括了所有组件与Kubernetes的交互、部分工作负载的存储、部分用户对存储的需求。Kube-controller-manager主要负工作负载在集群里的运行；Kube-scheduler主要负责pod的调度，如所在的运行机器、调度到集群含GPU的节点等调度工作。

集群的Master组件部署好后就需要部署一些 Node，主要包括两个组件，第一个是负责在Node上创建Pod的kubelet；第二个则是负责程序在集群配置规则使其能够被自动发现和访问的kube-proxy。

此外，腾讯云还提供了一些自研组件。第一个组件是hpa-metrics-server，为了让用户能够使用Kubernetes提供的Pod横向扩展控制器而研发，其优点在于，除了基于CPU和内存扩展之外，还能扩展pod出入带宽的指标，方便用户适应更多扩缩容场景。第二个组件是则是cbs-provisioner，提供了pod使用腾讯云cbs块存储服务的能力；第三是ccs-log-collector，主要是负责收集容器里pod运行日志。

容器网络

当Kubernetes把控制组件搭建起来后，它要求网络提供三点，在pod不使用NAT的情况下，第一，集群内所有容器之间可以进行通讯；第二，所有的节点和容器之间可以进行通信；第三，为了应对服务发现的需求，降低网络复杂度，要求不能使用NAT，并实现Node和pod之间的扁平化网络。

腾讯云Kubernetes使用的方案如上，这一方案方案直接使用了VPC提供的路由能力global route。使用 docker bridge 网络模式；pod ip 由 cni 插件分配；pod可以跨主机访问使用 vpc global route；采用了扁平化网络，主机、容器间实现对等互访。Kubernetes结点加入到一个集群中触发网络的过程如上图所示，这套过程中Docker采用了bridge的网络模式，pod IP直接由cni插件分配。

容器存储

这套Kubernetes集群中主要集成了腾讯云的块存储服务的CBS和CFS两个能力。

Kubernetes将volume挂载到pod里面时包含的过程如下：首先，Kube-controller-manager会为CBS提供volume进行准备。即会先创建一个云盘，然后将创云盘插到对应的主机上，主机上的Kubelet会做一个mount动作，将设备mount到一个Kubernetes指定的文件夹，Kubelet在创建这个pod时，会通过mount的形式把mount到的目录实际挂载到容器的namespace里。当pod销毁后， volume不再被需要，就会反向执行，先从主机上把对应的块设备先umount掉，再把detach掉，然后由Kube-controller-manager根据对应的plugin设置销毁或保留。

Kubernetes volume的插件机制主要包括了三种，第一种是早期使用的In tree volume plugin，需要将代码写在的代码仓库中，会影响正常存储功能的使用和集群稳定性；第二种是Flex Volume在扩展性和稳定性上有所增加，能够通过特定接口的二进制文件，实现mount和umount动作。这种方式的缺陷在于自动性不足且对环境有要求；第三种基于社区CSI接口实现的插件，也就是将Flex volume的二进制文件工作全部放到了容器里面，让Kubelet与对应功能的插件通信，最终实现mount和umount的动作。

容器日志与监控

在Kubernetes里面并没有提供默认的日志方案，资源消耗较大且步骤复杂。腾讯云容器服务的日志收集控制器主要基于Fluentd + kubernetes CRD(custom resource definition)实现，能够提供可视化配置。

该控制器支持收集容器的标准输出，也支持收集pod所在的Node上主机文件路径的内容。另外可以通过LogCollector监听Kubernetes-apiserver资源，生成对应的Fluentd的配置文件，触Fluentd重载收集日志文件。直接配置Fluentd收集pod对应的路径规则，根据需求做日志路径，将不同的日志发往不同后端，这样就实现了日志收集。

在监控方面，Kubernetes里的pod性能信息和云监控进行对接，在用户的Kubernetes节点上运行agent，在kubelet里内置的cadvisor收集pod运行性能信息，再去apiserver获取pod对应的元数据并进行打标签，然后上传到腾讯云监控服务。

另外基于腾讯云存储的监控指标实现hpa-metrics-server，再利用Kubernetes提供的HPA能力会定期获取pod当前的入带宽、出带宽等指标熟练，并且根据定义进行扩容和缩容。

CVM上部署Kubernetes

在早期，为了实现产品快速上线，同时满足完全隔离的全托管Kubernetes服务，Master组件部署在一台CVM并放到用户VPC里，用户的Node节点直接在CVM的机器上，在此基础上做Kubelte等参数初始化工作、集群证书配置、默认拉取镜像凭证初始化等工作。

该方案节点均处于用户VPC中，通过Agent初始化部署整个集群，缺点就算管理困难。通过SSH直接登录到客户的Master节点进行运维操作，无法编程化，而且容器运维与Kubernetes关系离散。

Kubernetes in kubernetes

在此前，每个集群都在ETCD里面各自目录，相当于软隔离的措施。但ETCD并不是为海量数据存储服务的，因此在线上运行了数万个集群后， ETCD问题越发密集。因此最终决定了把Kubernetes部署在Kubernetes里面，通过Kubernetes API去管理Master组件，包括的apiserver、kube-controller-manager和自研组件。这样做就不需要通过SSH方式，到每台机器上进行操作，而是直接通过deployment提供的滚动升级能力来完成。

这样做的话可以充分利用Kubernetes的健康检查和就绪检查等机制实现故障自愈。基于hpa-metrics-server，可以实现apiserver的动态扩容，满足Kubernetes集群节点对于apiserver性能的需求。

但是基于CVM的部署方案，所有的组件都部署在用户的VPC里面，如果我们把所有组件部署在Kubernetes Master里面，而且不能给每个用户部署一个Kubernetes集群。所以腾讯云提供了一个专门的Kubernetes集群，运行所有集群的Master。VPC提供的弹性网卡能力，直接绑定到运行apiserver的pod里，去实现和用户Node相关的互通。

通过在Kubernetes集群里面部署Kubernetes Master组件，成功降低了运维成本和Master组件的资源消耗。

CIS底层技术实现

Kubernetes上云部署实现了运维简化的基础,各种优质工具的开发则进一步丢下了开发者的包袱。对于开发者而言，Docker应该是非常常见的一种技术。通过Dockerfile或者Docker build 命令打包镜像，通过Docker pull、Docker push命令和容器仓库进行对接，最终实现跨平台的运行，Docker Wrong命令直接把Docker镜像运行了起来。

但Docker的问题在于管理复杂，需要Kubernetes简化编排。可是Kubernetes本身却比较复杂，一是安装复杂，组件颇多，需要master节点、Node节点等，还需要诸多软件，如apiserver、controller-manager、scheduler、Kubelet等；另外资源也复杂，入门需要一定时间。

腾讯云原来有TKE集群，能够帮助用户快速建立Kubernetes集群，master节点和node节点都是由腾讯工程师维护，给用户使用带来诸多便利。但是问题在于，当集群节点突发性不够用时，资源受节点限制，扩展需要手动添加节点，至少要几十秒延迟才能完成创建。

其他方法还有，如用Kubernetes开源的CA与腾讯云弹性伸缩组进行对接，当节点不够用时，可以通过CA来扩容一个节点。或者采用HPA，可以进行pod横向伸缩容，但这样做虽然可以解决部分灵活问题，但依然不够。

在这些原因的驱使下，腾讯云CIS（Container Instance Service）服务就有了需求动力，其本质就是Serverless Kubemetes服务，将Kubernetes集群交给云厂商管理，而用户只需要关注Docker本身即可。

创作场景

小白也能玩转 Kubernetes 你与大神只差这几步（一）