AICon 上海站|日程100%上线,解锁Al未来! 了解详情
写点什么

Slack 实时消息处理架构,更新、更快、更稳定

  • 2023-05-12
    北京
  • 本文字数:1056 字

    阅读完需:约 3 分钟

Slack实时消息处理架构,更新、更快、更稳定

Slack 最近公布了它们是如何实现在全球范围内每天发送数百万条实时消息的。该公司提供了对其Pub/Sub架构的全面讲解,这个架构的设计目标就是管理大规模的实时消息。它强调了在不同时区和地区发送实时消息的独特挑战,以及 Slack 的工程师如何设计基础设施来处理这些挑战的。


Slack 的高级软件工程师Sameera Thangudu阐述了这种架构的重要性:

我们的服务器要为每台主机上的数千万个通道以及数千万个连接的客户端提供服务,我们的系统要在 500 毫秒内将消息传递到世界各地。凭借当前架构的线性可扩展性,我们可以为更多客户提供服务。


她表示,该公司会加强其架构,以服务更多的客户群。


该系统的后端由多个服务组成。通道服务器(Channel Server,CS)是有状态的内存服务器,持有通道的历史。这里会有一个一致性散列机制将每个 CS 映射到通道的一个子集中。在峰值时期,每个主机大约为 1600 万个通道提供服务。一致性哈希环管理器(consistent hash ring manager,CHARM)会管理 CS 的一致性哈希环,确保在 20 秒内替换掉不健康的 CS。Consul 会存储一致性哈希值的最新配置。



图片来源:https://slack.engineering/real-time-messaging/


网关服务器(Gateway Server,GS),与 CS 类似,是有状态的内存服务器。它们维护用户信息和 WebSocket 通道订阅,并作为 Slack 客户端和 CS 之间的接口。GS 会被部署到多个地理区域,以优化连接速度。管理服务器(Admin Server,AS)是无状态的内存服务器,它们是 Webapp 后端和 CS 之间的接口。最后,状态服务器(Presence Server,PS)会跟踪在线用户,支撑 Slack 客户端的绿色状态点(green presence dot)。


每个 Slack 客户端有一个到 Slack 服务器的持久性 WebSocket 连接,以接收实时事件来维护其状态。客户端需要通过几个步骤来搭建 WebSocket 连接,比如从 Webapp 后端获取用户令牌和 WebSocket 连接的设置信息。然后,客户端会初始化一个 WebSocket 连接到最近的边缘区域,GS 获取用户信息并向客户端发送第一条消息。Envoy会平衡传入的流量并处理 TLS 终止。



客户端设置完成后,在通道中发送的每条消息都会广播至通道中所有在线的客户端。消息在发送至全球范围的每个订阅的 GS 之前,要经过 Webapp API、AS 和 CS。每个收到消息的 GS 都会将消息发送至订阅该通道 ID 的客户端。



除了聊天消息,实时改变客户端状态的另一种消息类型是事件。瞬时事件,比如用户在通道中进行输入,会遵循一个略有差异的流程,因为数据库不会持久化保存这些事件。下图说明了这个流程。



原文链接:

Real-Time Messaging Architecture at Slack


相关阅读:

Slack工程师如何解决最常见的移动开发痛点

Zoom和Slack的第二曲线

2023-05-12 10:374084

评论

发布
暂无评论
发现更多内容

通过什么方式item_review-获得淘宝商品评论api接口,掌握淘宝商品评论API,洞悉消费者心声,提升购物决策力

技术冰糖葫芦

API 接口 API 文档 API 策略

hive 、spark 、flink之想一想

京东科技开发者

大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望—打造AI应用新篇章

汀丶人工智能

人工智能 大模型 prompt 工程 显卡选择

GPU推理加速与大规模上下文处理

百度开发者中心

人工智能 大模型

全面解析 MessagePack:简介及使用技巧

Apifox

json 程序员 前端 后端 MessagePack

探索无限可能!飞桨黑客马拉松第六期,50w奖金等你来挑战!

飞桨PaddlePaddle

百度 BAIDU 百度飞桨 黑客马拉松 热门活动

从零开始学起!全方位解析App压力测试的关键要点!

测吧(北京)科技有限公司

测试

从零开始学起!全方位解析App压力测试的关键要点!

测试人

软件测试

LED显示屏系统:构成与品质

Dylan

数字化 LED显示屏 全彩LED显示屏 led显示屏厂家 体育

合辑下载 | MatrixOne 与 MySQL 全面对比

MatrixOrigin

数据库 分布式 云原生

从0到1:基于SD的AI数字模特探索之路

京东科技开发者

深入探究App压力测试的关键要点:从零开始学习Monkey

霍格沃兹测试开发学社

DBCP一个配置,浪费了MySQL 50%的性能!

京东科技开发者

如何判断一个数仓模型的好坏?

京东科技开发者

LLM大模型推理加速实战:vllm、fastllm与llama.cpp使用指南

百度开发者中心

人工智能 大模型 LLM

Slack实时消息处理架构,更新、更快、更稳定_架构_Eran Stiller_InfoQ精选文章