写点什么

转转 Kubernetes 实践:如何解决容器化带来的四大问题

  • 2022-08-17
    北京
  • 本文字数:2410 字

    阅读完需:约 8 分钟

转转 Kubernetes 实践:如何解决容器化带来的四大问题

为进一步加强技术交流,推进云原生生态共建,6 月 28 日下午,首届云原生实践者大会在线上线下同步举办。来自作业帮知乎、转转、58、同程等多家科技企业的数十名研发人员,以及中国信通院云大所的专家共同参与了此次技术研讨沙龙。

 

研讨会上,转转基础服务负责人梁会彬分享了转转在 Kubernetes(以下简称 K8s)方面的实践。梁会彬表示,相较于传统物理机,容器化带来了资源隔离、轻量快捷、隆本提质增效、高可用等诸多优点,从而被各大互联网公司采用。但同时,这也引入了新的问题,如 IP 动态、日志收集、服务治理融合、监控等。面对这些问题,各大公司根据业务场景采用了不同的解决方案。梁会彬同与会者分享了转转的解决方案,包括镜像管理、发布升级、容器监控、日志收集等方面。

 

以下,是梁会彬的分享。

 

我主要从实现层面来介绍 K8s 在转转的实践。本着让 rd 无感容器相关概念的原则,转转云平台主要包括镜像管理、发布升级、容器监控、日志收集四个部分。

总体架构


 

这是转转云平台架构图,其中包括组件镜像存储、日志收集、K8s、服务治理、NG 治理、监控等,云平台统一管控这些组件。如图所示,云平台屏蔽以上组件,让 rd 无感,减少复杂性,学习曲线平缓。

功能流转


 

这幅图是云平台的结构关系,该图包含了用户行为和数据流转关系,属于系统的反馈回路图。

 

从左边来看,rd 通过 CI/CD 平台编译部署,通过日志平台查询日志,通过大数据收集平台配置日志收集信息,最后这些平台统一和云平台交互,由云平台统一管理和 K8s 的交互,而其他系统与 K8s 无耦合。如图所示,云平台负责镜像编译、发布升级、日志收集等功能。

 

镜像管理

 

镜像管理的目标是让 rd 对 Dockerfile 无感,减少学习成本。由于容器之前,编译系统有现成的编译产物,我们选择直接复用,来减少 CI/CD 开发成本,同时也能提高编译性能。

 

对应实现方案为应用分类(ZZJAVA、ZZWEB、WF),这样每种技术栈类型对应一种基础镜像,也就是各自对应相应的启动脚本,做到用户无需感知 Dockerfile。物理机编译产物+CMD(启动命令)就和物理机应用无异,做到物理机编译产物直接复用到容器中。

 

对于容器编译的执行过程,我们把编译镜像的程序以 pod 的形式部署到 K8s 集群运行,天然继承 K8s 的优势,做到分布式编译,以此打破性能瓶颈。


 

下面看一下镜像管理的流程交互图。如上图,rd 通过 CI/CD 编译工程,按原有编译流程执行编译,产物推送到 FTP 服务,然后利用云平台能力产生编译 pod,最终编译镜像程序在编译 pod 中编译镜像并推送到镜像仓库(Harbor)。下面是云平台的 Dockerfile,业务镜像输入参数是编译产物 url 和服务名称,而编译镜像的 Dockerfile 的本质就是用 Docker client 在 pod 中进行 docker build,这样编译镜像程序本身也能享受到隔离且编译后自我清理中间产物的优势。

 

发布升级


对于发布升级,我主要讲两个点:

  1. 转转发布技术的演进,包括 Deployment 控制器和转转自定义控制器 

  2. 不同应用类型服务的实现细节,包括 rpc 服务和 Web 服务

通用问题


Deployment 控制器使用过程中重点考虑的通用问题包括:cpu 如何超分、超分会出现什么问;ready 检查如何做;亲和策略怎么选择;以及针对不同服务类型的具体实现是什么等。

CPU 超分


CPU 超分的目标是让重点集群控制 CPU 超分比例,以此保证重点集群机器性能。

 

实现方案:保证重点集群性能就要控制其他非重点集群不调度到对应机器,所以本质来说是对宿主机集群进行分类。具体来说,就是为宿主机打不同的 label,部署的时候使用 NodeSelector 去匹配相应的宿主机,同时控制 CPU request=limit*设置比例,做到宿主机超分比率控制。

ready 检查


ready 检查的目标是,在 pod 在滚动升级时保证新启动容器进程可以提供服务,避免新容器出现问题时全部替换老容器,导致服务不可用。

 

实现方案:对于 Web 服务来说,访问 health 接口返回 200 认为 ready;rpc 服务判断端口启动成功即可,我们的 rpc 服务保证端口暴露时注册到服务治理服务。

亲和策略


亲和策略的目标是将同一个集群 pod 调度到不同宿主机,防止宿主机 crash 导致整个集群不可用。


实现方案:podAntiAffinity 技术。

rpc 服务


rpc 服务遇到的挑战:


  1. 转转 rpc 支持节点分组;

  2. 服务治理联动。

 

实现方案:针对分组配置节点数,rpc 框架改造支持分组发现,云平台支持针对分组部署,具体分组发现依靠 env 中的分组 id。

Web 服务


Web 服务遇到的挑战:

  1. Web 服务没有注册中心 ;

  2. Nginx 如何自动上下线。

 

实现方案:利用容器的生命周期控制 Nginx 上下线,实现 Nginx 服务化,即在 Nginx 上提供服务上下线接口。这样在容器 prestop 时下线 Nginx,readyness 时上线 Nginx,做到容器自我管理上下线 Nginx 功能。

自定义控制器


使用 Deployment 控制器会遇到 IP 漂移、日志丢失、kubelet 不支持 subPath 等问题。我们自定义控制器是为了方便开发,直接重写 RC 控制器,复用 pod,解决 ip 漂移和日志丢失问题。我们还重写了 emptyDir 实现 subPath,解决相同集群调度到同一机器日志冲突问题。

自定义控制器的实现


 

这幅图是 K8s 控制器流程图,经典的 list/watch 模型。

 

我们重写 RC 的逻辑也比较简单:监听 Replication、发现 image 版本变化,直接替换 pod 的镜像版本,做到本地升级。但也有例外情况,如果 cpu、内存、env 等发生变化,我们就更换 pod。

容器监控


关于云平台的监控,我们也经历了几个版本:从 Heapster 到 Metrics-server,最后直接使用 Prometheus 抓取 cAdvisor 数据。这里有个小细节,Prometheus 抓取 cAdvisor 数据没有 IP 和 pod 关联关系的数据,是需要处理的。

容器监控示例


这幅图是转转的容器监控,可以看到相应 pod 的宿主机以及自身性能数据。

日志收集


 

日志收集遇到的问题:


  1. Java 技术栈日志一般不往 stdout 打印,有自己的日志框架,而且是多文件的,比如 info、warn、error,这点和 Docker 设计有些出入 ;

  2. 日志量很大 ;

  3. 日志丢失 。

 

我们的应对方案:日志使用 hostpath 直接打到宿主机,解决丢失问题,然后使用异步收集解决量大问题。所谓异步收集是指宿主机上有专门的 agent 读取 Docker 启动/销毁事件,进而生成 flume 配置文件,做到收集日志和云平台解耦。

 

2022-08-17 16:415331

评论 5 条评论

发布
用户头像
k8s都能写错来,文章没人审核的么
2022-08-18 09:57 · 浙江
回复
非常抱歉,已更正
2022-08-18 10:01 · 北京
回复
用户头像
Kubernets -> Kubernetes, 标题都写错了
2022-08-18 09:37 · 上海
回复
很感谢指出错误,以后会更仔细审查
2022-08-18 10:03 · 北京
回复
用户头像
图片为什么这么糊
2022-08-17 20:03 · 上海
回复
没有更多了
发现更多内容

10个 解放双手的 IDEA 插件,少些冤枉代码,java程序员进阶路线

Java 程序员 后端

15W字!腾讯总监手写“Netty速成手册”(1),SpringBoot项目瘦身指南

Java 程序员 后端

2020-6次面试阿里,持续一个多月,终于拿到offer了!,java三层架构登录功能实现

Java 程序员 后端

2021年总结阿里、腾讯、百度等大厂11个Redis系列高频面试题,哪些你还不会

Java 程序员 后端

2021年最新基于Spring Cloud的微服务架构分析,java技术经理岗位职责

Java 程序员 后端

10个经典场景带你玩转SQL优化,Java笔试题算法题

Java 程序员 后端

10分钟手把手教你快速入门SpringBoot!,字节跳动java研发面试题社招

Java 程序员 后端

1小时破千万点击量!阿里巴巴首发:Java实践指南,mysql使用教程图解目录

Java 程序员 后端

迎接10亿快递高峰,看百度OCR如何助力物流企业提速

百度大脑

人工智能 OCR

2020年Java篇:蚂蚁金服、拼多多、字节跳动的面试总结,mysqlserver使用教程

Java 程序员 后端

2021 年最新版 68道Redis面试题,20000字,赶紧收藏起来备用,成功入职阿里

Java 程序员 后端

2021BATJ面试题大全500道:Redis+数据库+分布式,java面试简历百度云

Java 程序员 后端

大开眼界,终于有人将Spring技术精髓收录成册,已在Github上获赞百万

Java spring 编程 程序员 SpringCloud

从OA到COP,致远互联成引领行业的“灯塔”

海比研究院

致远互联 COP 协同运营平台

名震GitHub,字节跳动内部顶级数据结构刷题学习笔记根本停不下来

Java 程序员 数据结构 面试 字节

进击的Java(四)

ES_her0

11月日更

2020百度、小米、乐视、美团,小米java面试几轮

Java 程序员 后端

2021字节总监最新发布:JVM +GC优质手册!面试专属,mongodb集群搭建原理

Java 程序员 后端

万字长文手写数据库连接池,让抽象工厂不再抽象

Tom弹架构

Java 架构 设计模式

10万字Spring Boot详细学习笔记+源码免费开放下载,京东T7大牛纯手写出来的!

Java 程序员 后端

2020淘宝双十一快速刷金币工具,这份字节跳动历年校招Java面试真题解析

Java 程序员 后端

15 高可用网站的软件质量保证,java技术基础知识总结

Java 程序员 后端

15W字!腾讯总监手写“Netty速成手册”,mysql索引优化面试题

Java 程序员 后端

2020年春招复盘:技术三面+HR面,成功斩获京东offer,springboot项目实战源码

Java 程序员 后端

2021最强面试笔记非它莫属:3000字Java面试核心手册(大厂必备),linux操作系统教程下载

Java 程序员 后端

license是什么意思?谁能解释一下?

行云管家

云计算 LICENSE IT运维

免费试用的堡垒机哪里有?哪家好?咨询电话多少?

行云管家

网络安全 数据安全 等级保护 IT运维

1万字长文高速你千万级并发架构下如何提高数据库存储性能,使用指南

Java 程序员 后端

2021年10月最新版Java面试真题+视频解析(价值24980赶紧收藏码住!

Java 程序员 后端

2021年五面蚂蚁、三面拼多多、字节跳动最终拿offer入职拼多多,我是如何收割多家大厂offer的

Java 程序员 后端

代码覆盖率VS测试覆盖率

FunTester

测试 测试覆盖率 覆盖率 FunTester 代码覆盖率

转转 Kubernetes 实践:如何解决容器化带来的四大问题_云原生_梁会彬_InfoQ精选文章