写点什么

eBay 是如何将 Envoy 作为边缘代理的:将硬件负载均衡器替换为软件解决方案

  • 2019 年 1 月 20 日
  • 本文字数:1696 字

    阅读完需:约 6 分钟

eBay是如何将Envoy作为边缘代理的:将硬件负载均衡器替换为软件解决方案

在美国西雅图举行的首届EnvoyCon会议上,来自 eBay 的工程团队讨论了如何将 Envoy 作为网络边缘,以替代基于硬件的负载均衡器。他们的关键经验包括,测试至关重要,这样能够验证跨一系列真实场景的性能特征;必须从组织和技术的角度仔细控制新旧边缘系统之间的迁移;“可编程的边缘”会带来很多的优势,但是也有一些挑战。


Bala Madhavan 和Qiu Yu是来自 eBay 的技术人员,均为软件工程师,他们首先讨论了 eBay 在美国的数据中心,但是他们要在全球范围内运行连接点(points of presence,PoP)以减少延迟,从而为终端用户提供更好性能。他们使用了“软件支撑的基础设施”,在每个 PoP 上部署了一个 Kubernetes 集群,并且在每个集群的边缘上有一个“north-south”网关,用来管理所有针对外部的传入和传出流量。



eBay 的边缘团队在每个 Kubernetes 集群中将 Envoy 运行在多个容器里面。针对就绪(readiness)和存活(liveness)状态的探针会确保容器能够按照预期的方式运行,并确保所有动态恢复过程都能顺利完成。7 层路由和部署控制是由一个定制Kubernetes Custom Resource Definitions (CRDs)来进行管理的,他们还使用Ingress注解实现自定义特性的规范。除此之外,他们还实现了一个自定义的发现服务,用于处理如下的 Envoy 管理xDS API,并负责进行部署和路由:路由发现服务(routing discovery services,RDS)、监听器发现服务(listener discovery service,LDS)、端点发现服务(endpoint discovery service,EDS)以及集群发现服务(cluster discovery service,CDS)。


从基于硬件的负载均衡器到 Envoy 支撑的边缘解决方案的迁移是渐进式的。在迁移过程中,第一步就是识别和实现已有方案和新 Envoy 方案之间的差异,eBay 团队已经将相关的代码贡献给了上游的Envoy开源项目。另外,他们还添加了对专有证书管理系统集成的支持,并且对 data plane 进行了一些定制(这些定制功能还没有往上游贡献)。它们会处理连接预取(prefetching),根据特定的需求丢弃请求或者将请求重置到特定的路由,而且提供了一个“默认的上游集群”来优雅地进行错误处理。支持BBR,同时添加了对谷歌新TCP流控制算法的支持,以及尚未明确说明的“SSL 和 TCP 优化”。


Madhavan 和 Yu 展示了响应时间的图表,用以说明新的基于 Envoy 的实现要比之前传统的硬件负载均衡器表现更好。它们还以 Envoy HTTP 过滤器的方式实现了一个额外的缓存层,这个缓存层支持动态对象缓存,能够使用外部缓存存储和Envoy的RingHash负载均衡器在多个缓存存储之间共享缓存的数据,首字节响应时间(time-to-first-byte,TTFB)提高了一个数量级。



在可观察性方面,在每个 PoP 上会运行一个Prometheus集群,另外还有一个中心化的Grafana用来实现可视化。告警是使用Alertmanager和外部检查来实现的,还包括用来进行异常探测的静态和动态阈值。整个边缘技术栈是通过Helm Chart在 Kubernetes 中进行安装和配置的,Helm Chart 会作为部署的唯一来源。


总结一下所学习到的经验,最重要的就是需要进行测试。硬件和软件的交叉校验是非常重要的,为了确保用户不会遇到性能下降的问题,实时用户监控(real user monitoring,RUM)是必不可少的。DC 和 PoP 的故障恢复要进行测试,还需要运行额外的混沌(chaos)试验。“平滑工作负载迁移”的经验包括建议进行跨功能(团队)的规划和验证,以可控的方式在边缘解决方案之间切换流量,同时密切观察运维指标。


他们提到的挑战包括运行新系统时增加 PoP 的数量所带来的运维操作、跨 PoP 探测配置漂移以及为集群管理提供工具支持。通过 API 驱动 Envoy 代理的方式实现“可编程的边缘”会提供很多的优势,但是也遇到了很多的挑战。例如,control plane 是“自行构建还是集成”、与已有的(遗留)组件进行集成、如何操作指标和相关的性能数据,以及硬件专家所组成的运维团队如何调试和解决基于软件的方案。


演讲幻灯片的 PDF 版本可以在 EnvoyCon Sched 页面上“Running Envoy as an Edge Proxy”下载,演讲的录像可以在 CNCF YouTube 频道观看。


查看英文原文:Running Envoy as an Edge Proxy at eBay: Replacing Hardware Load Balancers with a Software Solution


2019 年 1 月 20 日 09:006986

评论 1 条评论

发布
用户头像
mark
2019 年 01 月 22 日 13:27
回复
没有更多了
发现更多内容

PancakeSwap交易所做市机器人|交易所画K线机器人

Geek_23f0c3

交易所机器人 pancakeswap 做市机器人

"开放数据,蔚然成林"—浪潮助力多地获得数据开放全国标杆

浪潮云

云计算

都2021年了,还在问网络安全怎么入门,气得我当场脑血栓发作

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

祝贺中国跳水队夺金!百度智能云挺敢做梦的人

百度大脑

人工智能 跳水队

完善数字人民币发行应用机制 打造可靠金融基础设施

CECBC

Tensorflow for Java + Spark-Scala分布式机器学习计算框架的应用实践

Qunar技术沙龙

机器学习 tensorflow spark 后端 分布式计算

学生管理系统详细架构设计文档

张文龙

#架构实战营

Java版人脸检测详解上篇:运行环境的Docker镜像(CentOS+JDK+OpenCV)

编程菌

Java 编程 程序员 后端 java技术宅

使用MLlib进行机器学习(十-下)

数据与智能

spark 决策树 优化

spring,springboot,底层原理解析

java小李

基于深度学习的实时噪声抑制——深度学习落地移动端的范例

声网Agora

人工智能 算法 移动端

加码物联网安全,熵核科技做终端安全的守护者

熵核科技

FNDZ,基于DeFi打造的交易复制生态

股市老人币圈新

一种Vue应用程序错误/异常处理机制

devpoint

Vue 异常处理 vue2 7月日更

架构实战营 毕业总结

竹林七贤

仅仅上线一小时,下载量就破10W!阿里内部Java性能优化实战手册

Java 编程 程序员 面试 IT

偶获阿里大佬纯手码“887”页 Java 面试手册,突击学习一个月,成功跳槽阿里!

Java 编程 架构 面试 IT

关于体验设计的十大重要定律

石云升

读书笔记 用户体验 商业洞察 7月日更 体验设计

应届女生美团Java岗4面,一次性斩offfer,我受到了万点暴击

编程菌

程序员 面试 后端 计算机

架构训练营 模块三

小卷儿

CRUD 程序员勿进!JDK源码剖析手册与并发编程图册,完美诠释高并发

Java 编程 程序员 IT 计算机

墙裂推荐!四面阿里拿 offer 后,才发现师哥给的面试笔记有多强大

Java 架构 IT 计算机 知识

FNDZ,以DeFi为核心的“复制交易”获利平台

区块链小八歌

极致性能一睹为快!阿里全新出品性能优化手册 从此拒绝系统瘫痪!

Java 编程 程序员 架构师 计算机

粉了!京东商城核心亿级流量并发Java系统架构设计方案手册

Java架构追梦

Java 架构 面试 高并发 京东

Vue进阶(三):Axios 应用详解

No Silver Bullet

Vue axios 7月日更

CODING 携手 CoDesign:让设计与开发更简单

CODING DevOps

DevOps 设计 开发工具 CoDesign

15年前的3篇论文,变成了万亿大生意

百度大脑

人工智能 论文

某宝付费的Redis核心原理深度实践PDF,竟在GitHub标星86k+霸榜

白亦杨

Java 编程 程序员 架构师 计算机

阿里 P8 熬了一个月肝出这份 32W 字 Java 面试手册,在 Github 标星 31K+

Java 编程 架构 面试 IT

深入了解Spring之Environment

邱学喆

Profile Environment PropertySource PropertySources

eBay是如何将Envoy作为边缘代理的:将硬件负载均衡器替换为软件解决方案-InfoQ