【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

知乎团队在 Istio 使用 Opentelemetry 做可观测的最佳实践

唐阳

  • 2022-05-30
  • 本文字数:2343 字

    阅读完需:约 8 分钟

知乎团队在Istio使用 Opentelemetry 做可观测的最佳实践

前言

云原生架构下,可观测领域的 OpenTelemetry 无疑是新时代的可观测标准。它提供的一些组件与工具极大地帮助了企业构建供应商无关的观测架构。

 

而在另一个领域,服务网格 ,Istio 也逐渐成为事实上的标准实现,它帮助企业从异构多语言微服务体系的复杂泥潭中解脱出来,无感知的为微服务增加动态管理、安全与可观测能力。

 

OpenTelemetry 与 Istio 的结合几乎可以说是天作之合,展现出 1 + 1 远大于 2 的能量!

 

OpenTelemetry 的基本架构

 

我们先了解一下 OpenTelemetry 的基本架构:



 OpenTelemetry 基本上由三大件构成:

 

  1. OTel Library:在几乎所有语言中为可观测提供统一的 API;

  2. OTel Collector:数据收集程序,提供模型抽象,将统一的数据格式转换到不同后端供应商的数据格式;

  3. 其他的一些工具,比如各种 Auto Instruments。 OTel Collector 部署的结构可以拆分成两部分,一部分是 OTel Agent ,另一部分是 OTel Collector。 OTel Agent + OTel Collector 是我们向大家非常建议的架构。 至少对于容器集群来说,OTel Agent 几乎应该是必选项,在虚拟或者裸金属宿主机上可以通过 Agent 提供非常多的有用特性,比方说:批量的数据压缩、网络错误时的重试等等;

 

Istio 的可观测

 

Istio 通过自动代理进程流量,帮助进程自动记录流量的观测数据,这包括但不限于:

  1. 各类指标。比如 istio_requests_total 指标可以用来统计程序的进出流量的 RPS。

  2. 自动的分布式追踪。通过 Istio 数据面,为链路记录了真实可信的现场数据,包括流量本身的表现、延迟、错误原因等等。

  3. 进出流量的访问日志。Istio 数据面会自动打印出所有进出流量的日志,其中囊括非常多的信息,比如请求时间、请求的上下游耗时、包体积等等。 Istio 的可观测是完全插件化,可选择的。 但,不幸的是 OpenTelemetry 并不是 Istio 的开箱默认选择,我们需要做一些工作让他们一起 Work。

部署 Otel Agent

在 Kubernetes 集群中,为每台宿主机安装 Otel Agent 有三种选项:

  1. 使用官方提供的 Kubernetes Yaml 文件进行定制化安装。

  2. 使用 OpenTelemetry 提供的 helm 仓库。 两者都是非常好的选项,根据咱们自身的生产流程和情况进行选择即可。 我们在这里强调一下我们的生产使用的一些重点经验:

  3. 部署 Otel Agent 必须配置合适的 CPU 与内存使用,否则可能会影响服务容器的表现。

  4. 务必为 Otel Agent 注入与 CPU 限制匹配的 GOMAXPROCS 环境变量,才能正确发挥 Otel Agent 的性能。尤其在裸金属几十个上百个 CPU 核心的情况下,GOMAXPROCS 设置与否将会是影响 Agent 表现最为明显的因素。

  5. HostNetwork 虽然是默认选项,我们强烈建议使用 HostPort 替代,以避免未知危险。

  6. Otel 的 Receivers 配置一定要选择适当的端口,避免和主机上进程端口冲突,并且部署后检查是否有无法启动的 Agent 容器,如果有请手动解决此类问题。 由于是与 Istio 一起工作,我们在这里开启 OpenCensus Receiver 配置,方便 Istio 的追踪数据投递到 Otel Agent 中。

receivers: opencensus:
复制代码


默认情况下 opencensus 监听的端口是 55678。

 

如果您的服务容器内还使用了其他的分布式追踪的协议,您可以在 receivers 开启,比如您可以同时还开启 Jaeger 协议的 receiver。这样您可以避免在集群内部署多个不同 Tracing 系统的 Agent,从而避免掉不必要的性能开销。

 

实际上我们的生产实践中也正是这么去做的,Istio 使用 opencensus 协议投递,而我们的服务内,由于历史原因代码中实际使用 Jaeger 协议,你看这就是 OpenTelemetry 的好处,几乎完全的供应商无关的使用体验。

 

接下来,我们配置完 exporters 信息,基本上 Otel Agent 就可以工作了。

 

我们可以在配置、部署完 OTel Agent 之后,进行一些实际的数据投递,来验证整个环节是否生效。

 

比如启动一些 Demo 应用,并产生流量,然后在 Query 侧查询是否存在相关数据。

配置 Istio 分布式追踪

 

在我们的实践中,我们遵循社区的最佳实践,使用 IstioOperator 安装、管理 Istio 配置。

通过修改我们的 IstioOperator 对象,即可完成分布式追踪的观测开启与配置。

 

apiVersion: install.istio.io/v1alpha1kind: IstioOperatorspec: meshConfig:   enableTracing: true   defaultConfig:     tracing:       sampling: 1.0       openCensusAgent:         address: ipv4:$(HOST_IP):55678         context:         - W3C_TRACE_CONTEXT         - B3
复制代码

这里可以注意到我们保留了 B3 上下文头部的感知,以保证与原有体系的兼容性。

 

这里可选的上下文非常多,比如 W3C_TRACE_CONTEXT、B3、CLOUD_TRACE_CONTEXT 等。

 

当我们修改完 IstioOperator 后,我们几乎立即得到了一个可用的 Tracing 接入。

 

但是如果你发现此时,Otel Agent 没有收到流量,请不要慌张,只是因为 Tracing 的配置实际是配置在了 Istio 数据面 Envoy 的启动配置文件中。

 

我们的修改如果想要生效,可以等待下一次服务重新部署即可,或者你也可以立即滚动重启一轮。

全览


最后我们看一下整体的全览。



服务进程和服务网格数据面 Istio-Proxy 均把自身的 tracing 数据投递到 OTel Agent,然后由 OtelAgent 处理后再投递到 Kafka 或 Jaeger Collector 或是其他供应商后端系统。

 

OpenTelemetry 不仅帮助我们服务网格 Istio 接入了分布式追踪,还统一了 Tracing Agent。

 

OpenTelemetry 能帮助 Istio 做到的事情也不止于此。

 

比方说作为 Istio 服务网格的数据面 Envoy,本身是支持将访问日志投递到 OpenTelemetry Agent 的,那么通过 Istio 的 EnvoyFilter 扩展,我们还能非常容易的接入 OpenTelemetry 的日志体系。

 

我们坚信 OpenTelemetry 与 Istio 服务网格未来会结合的更加紧密,OpenTelemetry 最终将全面地、彻底地接管 Istio 服务网格可观测体系!

作者介绍


唐阳,知乎核心架构平台工程师,负责服务网格等基础设施。

2022-05-30 19:097100

评论

发布
暂无评论
发现更多内容

智慧物流平台:让海外仓更聪明

WorkPlus

RISCV64

贾献华

7月月更

微服务远程Debug,Nocalhost + Rainbond微服务开发第二弹

北京好雨科技有限公司

Kubernetes 云原生 PaaS 容器云 rainbond

99%的人都不知道|私有化部署还永久免费的即时通讯软件!

WorkPlus

DataSimba推出微信小程序,DataNuza接受全场景考验? | StartDT Hackathon

奇点云

数据中台

如何选择合适的自动化测试工具?

禅道项目管理

工具 自动化测试

博睿数据入选《2022爱分析 · IT运维厂商全景报告》

博睿数据

博睿数据 性能监测 智能运维AIOps

dapp丨defi丨nft丨lp单双币流动性挖矿系统开发详细说明及源码

开发微hkkf5566

一文读懂数仓中的pg_stat

华为云开发者联盟

数据库 后端

当AI对话系统像自动驾驶一样分级,谁能率先跑出L5?

硬科技星球

人工智能 AI人机对话

Python 入门指南之数据结构

海拥(haiyong.site)

Python 7月月更

你真的理解粘包与半包吗?3分钟搞懂它

C++后台开发

网络编程 网络协议 TCP/IP 后端开发 C++开发

ORACLE进阶(六)ORACLE expdp/impdp详解

No Silver Bullet

oracle 7月月更 expdp impdp 数据泵

Sator推出Web3游戏“Satorspace” ,并上线Huobi

股市老人

HTML5网页3D场景制作之Three.js初体验-制作3D字体

迷彩

前端 3D three.js 7月月更

低代码助力企业数字化转型会让程序员失业?

行云创新

程序员 云原生 软件开发 低代码 数字化转型

三千余字细说大厂高频Java面试题Redis缓存雪崩-击穿-穿透

了不起的程序猿

java程序员 java面试 Java’

Pisa-Proxy SQL 解析之 Lex & Yacc

SphereEx

数据库 sql SphereEx

企业即时通讯软件是什么?它有哪些优势呢?

WorkPlus

【Unity Shader】插入Pass实现模型遮挡X光透视效果

萧然🐳

游戏开发 Unity 7月月更 shader

API、ETL、ESB/MQ 已成明日黄花?时代为何需要一个全新的实时数据架构?

tapdata

开源 数据集成 实时数据 Tapdata架构 实时数据平台

A tour of gRPC:03 - proto序列化/反序列化

BUG侦探

gRPC RPC protocolBuffer

Sator推出Web3游戏“Satorspace” ,并上线Huobi

EOSdreamer111

如何在软件研发阶段落地安全实践

华为云开发者联盟

云计算 后端 软件开发 安全发布

行业案例|数字化经营底座助力寿险行业转型

Kyligence

数字化转型 Kyligence

模块六

Geek_2ce415

低代码(lowcode)帮助运输公司增强供应链管理的4种方式

优秀

低代码 供应链物流

谈谈 SAP 系统的权限管控和事务记录功能的实现

Jerry Wang

SAP abap Netweaver 7月月更 权限监控

MRS离线数据分析:通过Flink作业处理OBS数据

华为云开发者联盟

大数据 后端

“未来办公”三大新趋势:分布式、移动、人工智能辅助

WorkPlus

Kubernetes DevOps CD工具对比选型

行云创新

Docker DevOps 云原生 k8s pod

知乎团队在Istio使用 Opentelemetry 做可观测的最佳实践_文化 & 方法_InfoQ精选文章