AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

电商网站的宕机案例分析

  • 2012-11-08
  • 本文字数:2035 字

    阅读完需:约 7 分钟

性能调优社区 dynatrace 在其博客中分享了客户案例,电商网站在假日客流峰值期间数次崩溃,经过 SQL 优化和调整负载均衡算法解决了相关问题,值得读者借鉴。

按照博文的描述,该电子商务网站在圣诞节期间崩溃了七次,每次宕机的时间都超过 5 个小时。这种情况让企业损失了大量的收入和名誉。

我们的一个客户就曾经遭遇到这种情况,我们在此分享下他们的经历。宕机的原因有很多,不过我们这里只强调比较突出的一点,即负载均衡器在采用 Round-Robin(轮询)算法时比 Least-Busy (最休闲)算法更容易导致应用服务器因堆内存耗尽而崩溃。

在分析性能问题之前,先看一看该网站的拓扑结构。该电子商务网站部署在 6 个 Tomcat 应用服务器上,前面是 3 个 Apache Web 服务器。

面临的问题是,在负载高峰时刻,每个 Tomcat 实例处理的响应时间开始增长,等待队列中的请求数目增多。一段时间之后,这些 Tomcat 实例由于 OutOfMemory 异常而崩溃,随后其他实例也因为承受不住由此增加的负载而宕机。

即使在采用平均分布负载的算法(Round Robin)下,有些 Tomcat 应用服务器也会出现响应时间的跳跃。一旦服务器开始拒绝客户连接,我们会发现一些连锁反应。数据库层出现大量的异常,同时应用层之间会抛出异常,Web 服务器会返回给浏览器 HTTP 500 的错误。

比如,在实际的分析过程中,我们发现某一个 Tomcat 实例在 30 分钟内对 43000 个页面返回了 HTTP 500 错误。

原因分析:来自数据库层(JDBC)的异常是分析该问题的关键入口。仔细查看这些异常会发现连接池已经耗尽了,从而导致应用的各个部分出现问题。由于连接池的原因,每一个请求都需要平均等待 3.8 秒来从池里获取连接。

不光是连接池大小的设置问题,而且不少低效的数据库语句在执行应用的一些业务逻辑事务时花费了太长时间。这导致应用服务器维护这个连接的时间也较长。如果把负载均衡器设为 Round Robin 算法,应用服务器会继续获得其他的请求。最终,由于客户请求的随机性,某个应用服务器收到了不少执行低效数据库处理的请求。一旦连接池耗尽,应用服务器就开始抛出异常,并最终导致 JVM 崩溃。一旦第一个应用服务器出现问题,用不了多久其他服务器也挂掉了。

解决办法:优化应用程序和负载均衡器

首先要分析执行最慢的数据库语句,并做性能优化,比如增加索引等。同时也优化了连接池大小来满足高峰时刻的需求。然后,企业把负载均衡器的算法从 Round-Robin 改为了 Least-Busy,在生产环境中这个配置经常被人遗忘。自从对应用程序和负载均衡器做了修改之后,网站再也没有崩溃。

该企业之前做过负载测试,但是存在两个问题:

  1. 没有使用预期的峰值负载长时间测试。
  2. 没有完全模拟用户行为,测试脚本太少、太简单,缺少了用户的高交互性访问场景。

由此等到的经验教训:在生产环境的低访问量时段(凌晨 2 点到 6 点)执行负载测试,这样可以虽然有小的交易风险,但是可以避免大的经济损失。高峰时间长为 10 小时,不要测试太短时间。

关于负载均衡的基本算法,主要有以下几种(参考 F5 产品):

  • 随机:负载均衡方法随机的把负载分配到各个可用的服务器上,通过随机数生成算法选取一个服务器,然后把连接发送给它。虽然许多均衡产品都支持该算法,但是它的有效性一直受到质疑,除非把服务器的可运行时间看的很重。
  • 轮询:轮询算法按顺序把每个新的连接请求分配给下一个服务器,最终把所有请求平分给所有的服务器。轮询算法在大多数情况下都工作的不错,但是如果负载均衡的设备在处理速度、连接速度和内存等方面不是完全均等,那么效果会更好。
  • 加权轮询:该算法中,每个机器接受的连接数量是按权重比例分配的。这是对普通轮询算法的改进,比如你可以设定:第三台机器的处理能力是第一台机器的两倍,那么负载均衡器会把两倍的连接数量分配给第 3 台机器。
  • 动态轮询:类似于加权轮询,但是,权重值基于对各个服务器的持续监控,并且不断更新。这是一个动态负载均衡算法,基于服务器的实时性能分析分配连接,比如每个节点的当前连接数或者节点的最快响应时间等。
  • 最快算法:最快算法基于所有服务器中的最快响应时间分配连接。该算法在服务器跨不同网络的环境中特别有用。
  • 最少连接:系统把新连接分配给当前连接数目最少的服务器。该算法在各个服务器运算能力基本相似的环境中非常有效。
  • 观察算法:该算法同时利用最小连接算法和最快算法来实施负载均衡。服务器根据当前的连接数和响应时间得到一个分数,分数较高代表性能较好,会得到更多的连接。
  • 预判算法:该算法使用观察算法来计算分数,但是预判算法会分析分数的变化趋势来判断某台服务器的性能正在改善还是降低。具有改善趋势的服务器会得到更多的连接。该算法适用于大多数环境。

有关电商网站在假期峰值解决方案的经验分享,InfoQ 中文站以前曾专门采访过淘宝的几位专家:

国内一年一度的光棍节电商促销又要开始了,开发和运维人员将面临巨大的挑战。有关技术分享,InfoQ 中文站将持续关注。

2012-11-08 20:506641
用户头像

发布了 501 篇内容, 共 272.8 次阅读, 收获喜欢 62 次。

关注

评论

发布
暂无评论
发现更多内容

考古:IT架构演进之IOE架构

乐只

系统架构 基础架构 IOE架构

夯实智慧新能源数据底座,TiDB Serverless 在 Sandisolar+ 的应用实践

PingCAP

数据库 TiDB

金融企业区域集中库的设计构想和测试验证

PingCAP

数据库 TiDB

开源软件更安全吗?

冯骐

深度思考 开源 架构 开发者 安全

anytoiso pro mac中文破解版 专业级ISO镜像文件制作工具

Rose

为何一个网卡需要配置多个IP地址?🌐

GousterCloud

Linux Kenel 网卡 多网卡

Linux网卡IP地址配置错误的影响🐧🔧

GousterCloud

IP Linux Kenel

Linux网卡与公网IP地址:一个不可随意配置的世界🌐

GousterCloud

IP Linux Kenel

程序员晚枫|2024年3月总结,人生中第一次「车祸」

程序员晚枫

程序员 总结 自媒体

TiDB MVCC 版本堆积相关原理及排查手段

PingCAP

数据库 MVCC TiDB

通过Golang获取公网IP地址

GousterCloud

#go 公网ip

阿里巴巴中国站按图搜索1688商品(拍立淘) API:如何通过图片快速获取商品的标题、价格、图片、链接,提高了更加智能化、个性化的商品搜索体验

技术冰糖葫芦

api 网关 API 文档 API 类型

WorkPlus:企业级私有化即时通讯软件

BeeWorks

PIRF393

Echo!!!

English

唐刘:关于产品质量的思考 - 如何评估质量

PingCAP

数据库 分布式 TiDB 产品质量

探索Linux的挂载操作🌈

GousterCloud

Linux Kenel 磁盘挂载

月活超 1.1 亿,用户超 4 亿,你也在用的「知乎」是如何在超大规模 TiDB 集群上玩转多云多活的?来听听知乎代晓磊的答案!

PingCAP

数据库 TiDB

小红书笔记详情API接口:高效获取与分析内容数据的利器

技术冰糖葫芦

api 网关 API 文档 API 类型

WorkPlus Meet视频会议:打破时空障碍,助力企业安全高效协作

BeeWorks

WorkPlus AI助理 | 提供企业AI私有化部署解决方案

BeeWorks

Doris 与 ClickHouse深度对比和选型建议

智慧源点

Clickhouse Doris

TiDB 慢查询日志分析

PingCAP

数据库 日志分析 TiDB 慢查询

一读就懂!B端响应式设计的新手扫盲

执于业务

“业务架构”

执于业务

在单交换机局域网中,不同网段的主机通信探秘🌐

GousterCloud

IP Linux Kenel

如何应对复杂任务

Bruce Talk

敏捷开发 TDD Agile

电商网站的宕机案例分析_后端_崔康_InfoQ精选文章