AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

基于 RabbitMQ 和 Redis,美版“携程”网使用微服务提升搜索扩展性

作者:Rafal Gancarz

  • 2024-02-11
    北京
  • 本文字数:1053 字

    阅读完需:约 3 分钟

基于 RabbitMQ 和 Redis,美版“携程”网使用微服务提升搜索扩展性

lastminute.com 的团队将单个服务分解为多个服务,并引入异步集成来重新构建了搜索结果聚合流程。他们的开发人员使用 RabbitMQ 进行消息传递,使用 Redis 存储来自数据供应商的结果。改进后的架构有了更强的可扩展性和可部署性,资源占用率也有所下降。

lastminute.com 平台在平台的旅行解决方案搜索聚合流程中使用的是第三方供应商。过去,他们使用一个称为运输供应商聚合器 (TA) 的单个 Java 组件封装了整个聚合过程。具体来说,该组件在内部生成许多线程来执行对数据供应商系统的 HTTP POST 请求,并随后在可用时收集和处理结果。


初始搜索结果聚合架构(来源:lastminute.com 技术博客)


lastMinute.com 团队发现,之前这个聚合流程架构存在耦合度高、扩展性差、部署复杂、资源利用率高等问题。lastMinute.com 的产品工程师 Giuseppe Pinto 解释了在该架构中观察到的资源利用率挑战:

该系统每天必须处理大约 5000 万个请求 [...],这意味着每秒大约 600 个请求(这里还是按日常流量算出来的数字;但在某些情况下,流量甚至可能会增加一倍)。值得注意的是,每个单独的请求都会生成 N+1 个线程来实现系统的目标。每个线程负责处理来自供应商的完整响应,在某些情况下,一个 HTTP 响应就封装了一个旅行解决方案,大小达到 25 兆字节之多。总之,就线程和内存使用而言,它是高度资源密集型的。

开发人员选择了分解 TA 服务,并将其中的数据提供者集成逻辑移至独立的微服务中,同时让 TA 服务专注于编排和结果聚合工作。新架构引入了 RabbitMQ 作为消息传递服务,它负责将搜索任务分派给数据提供者搜索驱动程序,并将任务完成通知从搜索驱动程序传递回聚合服务。

TA 服务和搜索驱动程序之间的交互采用了远程过程调用(RPC)模式,基于更通用的请求 - 答复模式。该模式需要两个消息队列,第一个用于发送搜索任务请求,包含相关标识符和回复队列的名称;第二队列传送搜索任务完成通知,包含来自搜索任务消息的相关标识符。聚合服务跟踪待处理的搜索任务,并使用相关标识符来匹配分派的搜索任务和接收到的完成通知。



新的搜索结果聚合架构(来源:lastminute.com 技术博客)

在新设计中,搜索驱动程序服务在发送回 TA 服务的通知消息中不包含数据提供商返回的旅行解决方案数据。相反,它们以标准化形式将数据存储在 Redis 缓存中,一旦所有搜索完成通知到达,TA 服务就会从 Redis 获取这些数据。

原文链接:

lastminute.com Improves Search Scalability Using Microservices with RabbitMQ and Redis (https://www.infoq.com/news/2024/01/lastminute-search-rabbitmq-redis/)

2024-02-11 08:0049916

评论

发布
暂无评论
发现更多内容

解决网络问题,多平台同步海外直播带货

Ogcloud

海外直播专线 海外直播 tiktok直播专线 海外直播网络 TikTok跨境直播

让企业知识触手可及,乐享基于腾讯云ES的RAG应用实践

腾讯云大数据

ES

X-ObjectMount: 对象存储访问接入的新选择

XSKY星辰天合

对象存储 软件定义存储 XSKY

软件测试学习笔记丨JUnit5动态测试创建

测试人

软件测试 自动化测试 测试开发 junit5

数业智能进入全球应用算法模型大赛50强

心大陆多智能体

智能体 AI大模型 心理健康 数字心理

简单剖析 HTTP 请求方法

Liam

程序员 前端 Web 后端 HTTP

用海外云手机养TikTok账号稳定吗?安全吗?

Ogcloud

云手机 海外云手机 tiktok云手机 云手机海外版 tiktok运营

中台框架模块开发实践-用 Admin.Core 代码生成器生成通用代码生成器的模块代码

不在线第一只蜗牛

Java 架构 中台架构

场景化解决方案|AR远程协作之——远程维修

AR玩家

AR Rokid Vision pro 炬目AR AR远程协作

软件测试学习笔记丨测试开发体系介绍

测试人

软件测试 测试开发

在 KubeSphere 上快速安装和使用 KDP 云原生数据平台

智领云科技

开源 大数据平台 KubeSphere KDP

和鲸“101”计划领航!和鲸科技携手北中医,共话医学+AI 实验室建设及创新人才培养

ModelWhale

人工智能 大数据 健康医疗

如何通过 1688 商品详情的 API 接口获取商品的详细信息

Noah

Mint Blockchain 正式发布 Public Mainnet,面向社区开放网络!

NFT Research

blockchain NFT\ Layer 2

基于 RabbitMQ 和 Redis,美版“携程”网使用微服务提升搜索扩展性_微服务_InfoQ精选文章