《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

Kubernetes+Docker+Istio 容器云实践(二)

  • 2020-02-06
  • 本文字数:2451 字

    阅读完需:约 8 分钟

Kubernetes+Docker+Istio 容器云实践(二)

三、Service Mesh

处理服务间通信的基础设施层,用于在云原生应用复杂的服务拓扑中实现可靠的请求传递。


  • 用来处理服务间通讯的专用基础设施层,通过复杂的拓扑结构让请求传递的过程变得更可靠。

  • 作为一组轻量级高性能网络代理,和程序部署在一起,应用程序不需要知道它的存在。


在云原生应用中可靠地传递请求可能非常复杂,通过一系列强大技术来管理这种复杂性: 链路熔断、延迟感知、负载均衡,服务发现、服务续约及下线与剔除。


1571209303145023963.png


市面上的 ServiceMesh 框架有很多,我们选择了站在风口的 Istio。

3.1 Istio

连接、管理和保护微服务的开放平台。


  • 平台支持: Kubernetes, Mesos, Cloud Foundry。

  • 可观察性:Metrics, logs, traces, dependency 。visualisation。

  • Service Identity & Security: 为服务、服务到服务的身份验证提供可验证的标识。

  • Traffic 管理: 动态控制服务之间的通信、入口/出口路由、故障注入。

  • Policy 执行: 前提检查,服务之间的配额管理。

3.2 我们为什么选择 Istio?

因为有大厂支持~其实主要还是它的理念是相当好的。


虽然它才到 1.0 版本,我们是从 0.6 版本开始尝试体验,测试环境跑,然后 0.7.1 版本出了,我们升级到 0.7.1 版本跑,后来 0.8.0LTS 出了,我们开始正式使用 0.8.0 版本,并且做了一套升级方案。


目前最新版已经到了 1.0.4, 但我们并不准备升级,我想等到它升级到 1.2 之后,再开始正式大规模应用。0.8.0LTS 在现在来看小规模还是可以的。

3.3 Istio 架构

我们先来看一下 Istio 的架构。


1571209316275069808.jpeg


其中 Istio 控制面板主要分为三大块,Pilot、Mixer、Istio-Auth。


  • Pilot: 主要作为服务发现和路由规则,并且管理着所有 Envoy,它对资源的消耗是非常大的。

  • Mixer: 主要负责策略请求和配额管理,还有 Tracing,所有的请求都会上报到 Mixer。

  • Istio-Auth: 升级流量、身份验证等等功能,目前我们暂时没有启用此功能,需求并不是特别大,因为集群本身就是对外部隔离的。


每个 Pod 都会被注入一个 Sidecar,容器里的流量通过 iptables 全部转到 Envoy 进行处理。

四、Kubernetes & Istio

Istio 可以独立部署,但显然它与 Kuberntes 结合是更好的选择。基于 Kubernetes 的小规模架构。有人担心它的性能,其实经过生产测试,上万的 QPS 是完全没有问题的。

4.1 Kubernetes Cluster

在资源紧缺的情况下,我们的 k8s 集群是怎么样的?

4.1.1 Master 集群

  • Master Cluster:

  • ETCD、Kube-apiserver、kubelet、Docker、kube-proxy、kube-scheduler、kube-controller-manager、Calico、 keepalived、 IPVS。

4.1.2 Node 节点

  • Node:

  • Kubelet、 kube-proxy 、Docker、Calico、IPVS。


1571209334286034774.jpeg


(图片来源网络)


我们所调用的 Master 的 API 都是通过 keepalived 进行管理,某一 master 发生故障,能保证顺滑的飘到其他 master 的 API,不影响整个集群的运行。


当然我们还配置了两个边缘节点。

4.1.3 Edge Node

  • 边缘节点

  • 流量入口


1571209343546024058.jpeg


边缘节点的主要功能是让集群提供对外暴露服务能力的节点,所以它也不需要稳定,我们的 IngressGateway 就是部署在这两个边缘节点上面,并且通过 Keeplived 进行管理。

4.2 外部服务请求流程

1571209353336042135.jpeg


最外层是 DNS,通过泛解析到 Nginx,Nginx 将流量转到集群的 VIP,VIP 再到集群的 HAproxy,将外部流量发到我们的边缘节点 Gateway。


每个 VirtualService 都会绑定到 Gateway 上,通过 VirtualService 可以进行服务的负载、限流、故障处理、路由规则及金丝雀部署。再通过 Service 最终到服务所在的 Pods 上。


这是在没有进行 Mixer 跟策略检测的情况下的过程,只使用了 Istio-IngressGateway。如果使用全部 Istio 组件将有所变化,但主流程还是这样的。

4.3 Logging

日志收集我们采用的是低耦合、扩展性强、方便维护和升级的方案。


  • 节点 Filebeat 收集宿主机日志。

  • 每个 Pods 注入 Filebeat 容器收集业务日志。


1571209362956038383.jpeg


Filebeat 会跟应用容器部署在一起,应用也不需要知道它的存在,只需要指定日志输入的目录就可以了。Filebeat 所使用的配置是从 ConfigMap 读取,只需要维护好收集日志的规则。


1571209371156057534.jpeg


上图是我们可以从 Kibana 上看到所采集到的日志。

4.4 Prometheus + Kubernetes

  • 基于时间序列的监控系统。

  • 与 kubernetes 无缝集成基础设施和应用等级。

  • 具有强大功能的键值数据模型。

  • 大厂支持。


1571209381856051250.jpeg

4.4.1 Grafana

1571209391196040075.jpeg

4.4.2 Alarm

1571209399997027190.jpeg


目前我们支持的报警有 Wechat、kplcloud、Email、IM。所有报警都可在平台上配置发送到各个地方。


1571209409016085856.jpeg

4.4.3 整体架构

1571209419697039213.jpeg


整个架构由外围服务及集群内的基础服务组成,外围服务有:


  • Consul 作为配置中心来使用。

  • Prometheus+Grafana 用来监控 K8s 集群。

  • Zipkin 提供自己定义的链路追踪。

  • ELK 日志收集、分析,我们集群内的所有日志会推送到这里。

  • Gitlab 代码仓库。

  • Jenkins 用来构建代码及打包成 Docker 镜像并且上传到仓库。

  • Repository 镜像仓库。


集群有:


  • HAProxy+keeprlived 负责流量转发。

  • 网络是 Calico, Calico 对 kube-proxy 的 ipvs 代理模式有 beta 级支持。如果 Calico 检测到 kube-proxy 正在该模式下运行,则会自动激活 Calico ipvs 支持,所以我们启用了 IPVS。

  • 集群内部的 DNS 是 CoreDNS。

  • 我们部署了两个网关,主要使用的是 Istio 的 IngressGateway,TraefikIngress 备用。一旦 IngressGateway 挂了我们可以快速切换到 TraefikIngress。

  • 上面是 Istio 的相关组件。

  • 最后是我们的 APP 服务。

  • 集群通过 Filebeat 收集日志发到外部的 ES。

  • 集群内部的监控有:

  • State-Metrics 主要用来自动伸缩的监控组件

  • Mail&Wechat 自研的报警服务

  • Prometheus+Grafana+AlertManager 集群内部的监控,主要监控服务及相关基础组件

  • InfluxDB+Heapster 流数据库存储着所有服务的监控信息

4.5 有了 Kubernetes 那怎么部署应用呢?

4.5.1 研发打包成镜像、传仓库、管理版本

  • 学习 Docker。

  • 学习配置仓库、手动打包上传麻烦。

  • 学习 k8s 相关知识。

4.5.2 用 Jenkins 来负责打包、传镜像、更新版本

  • 运维工作增加了不少,应用需要进行配置、服务需要做变更都得找运维。

  • 需要管理一堆的 YAML 文件。


有没有一种傻瓜式的,不需要学习太多的技术,可以方便使用的解决方案?


本文转载自宜信技术学院公众号。


原文链接:http://college.creditease.cn/detail/309


2020-02-06 21:291392

评论

发布
暂无评论
发现更多内容

uniapp 如何将输入值转成大写

CRMEB

是开自助洗车店还是传统洗车店好?

共享电单车厂家

自助洗车加盟 开自助洗车店 传统洗车店

企业的文档管理策略

小炮

文档管理

7 款最棒的开源 React UI 库测评 - 特别针对国内使用场景推荐

蒋川

JavaScript react.js 开源 UI 组件库

重磅首发!火线安全发布《云安全攻防技术期刊》

火线安全

安全 云安全

网页在线帮助中心的搭建策略

小炮

帮助中心

YARN Federation技术解析及应用

移动云大数据

YARN

如何用Apifox 发送接口请求?

Liam

开发者 测试 后端 开发 Postman

小区适合投放自助洗车机吗?

共享电单车厂家

自助洗车加盟 小区投放自助洗车机

没有店面店铺可以做自助洗车吗?

共享电单车厂家

自助洗车加盟 自助洗车店面

6月月更“粽”头戏,大家一起来参与吧!

InfoQ写作社区官方

热门活动 6月月更

TiDB 查询优化及调优系列(四)查询执行计划的调整及优化原理

PingCAP

「v2.4」千呼万唤的图形化编排,来了!

Jianmu

持续集成 低代码 开发工具 开源项目 节点编排

平衡人工智能的性能要求,实现可信AI在银行业务场景的高质量应用

易观分析

人工智能

为什么穷人越穷,富人越富?

大数据梦想家

程序人生

末流985,秋招斩获多家大厂offer 经验分享

大数据梦想家

面经分享 大数据开发

固定资产投资管理系统解决方案

低代码小观

资产管理 CRM系统 客户关系管理系统 企业设备管理 设备巡检管理系统

fastposter v2.8.2 发布 电商海报生成器

物有本末

2021年证券类APP更新迭代监测专题分析(中)发布

易观分析

证券

智能汽车领域的开源软件供应链安全检测工具分享

墨菲安全

idea插件 工具分享 开源安全 墨菲安全 软件供应链

自助手动洗车设备洗车怎么样?

共享电单车厂家

自助洗车加盟 自助洗车机洗车 自助手动洗车设备

Fastjson官方再次披露高危漏洞,包括rocketmq、jeecg-boot等近15%的github开源项目受影响

墨菲安全

安全 idea插件 Fastjson 依赖漏洞检测 墨菲安全

大数据学习必备 | 推荐几个牛X 的 github 项目,助你事半功倍

大数据梦想家

大数据 学习资料 Github'

高危!Fastjson反序列化远程代码执行漏洞风险通告,请尽快升级

葡萄城技术团队

json 安全 Fastjson

MBTI 剧透人生,你的天选职业是什么?(免费测)

融云 RongCloud

避免惊群以及负载均衡的原理与具体实现

C++后台开发

nginx 负载均衡 后端开发 C++后台开发 惊群

百度智能小程序巡检调度方案演进之路

百度Geek说

十一、云原生网络微隔离

穿过生命散发芬芳

5月月更 微隔离

模块二

Geek_2ce415

英特尔开源项目推动SYCL标准采用,打破单个厂商封闭生态系统

科技之家

PingCAP Clinic 服务:贯穿云上云下的 TiDB 集群诊断服务

PingCAP

Kubernetes+Docker+Istio 容器云实践(二)_容器_王聪_InfoQ精选文章