红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

NSQ:分布式的实时消息平台

  • 2015-02-06
  • 本文字数:1673 字

    阅读完需:约 5 分钟

NSQ 是一个基于 Go 语言的分布式实时消息平台,它基于 MIT 开源协议发布,代码托管在 GitHub,其当前最新版本是 0.3.1 版。NSQ 可用于大规模系统中的实时消息服务,并且每天能够处理数亿级别的消息,其设计目标是为在分布式环境下运行的去中心化服务提供一个强大的基础架构。NSQ 具有分布式、去中心化的拓扑结构,该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征。NSQ 非常容易配置和部署,且具有最大的灵活性,支持众多消息协议。另外,官方还提供了拆箱即用 Go 和 Python 库。如果读者兴趣构建自己的客户端的话,还可以参考官方提供的协议规范

NSQ 是由四个重要组件构成:

  • nsqd :一个负责接收、排队、转发消息到客户端的守护进程
  • nsqlookupd :管理拓扑信息并提供最终一致性的发现服务的守护进程
  • nsqadmin :一套 Web 用户界面,可实时查看集群的统计数据和执行各种各样的管理任务
  • utilities :常见基础功能、数据流处理工具,如 nsq_stat、nsq_tail、nsq_to_file、nsq_to_http、nsq_to_nsq、to_nsq

NSQ 的主要特点如下:

  • 具有分布式且无单点故障的拓扑结构 支持水平扩展,在无中断情况下能够无缝地添加集群节点
  • 低延迟的消息推送,参见官方提供的性能说明文档
  • 具有组合式的负载均衡和多播形式的消息路由
  • 既擅长处理面向流(高吞吐量)的工作负载,也擅长处理面向 Job 的(低吞吐量)工作负载
  • 消息数据既可以存储于内存中,也可以存储在磁盘中
  • 实现了生产者、消费者自动发现和消费者自动连接生产者,参见 nsqlookupd
  • 支持安全传输层协议(TLS),从而确保了消息传递的安全性
  • 具有与数据格式无关的消息结构,支持 JSON、Protocol Buffers、MsgPacek 等消息格式
  • 非常易于部署(几乎没有依赖)和配置(所有参数都可以通过命令行进行配置)
  • 使用了简单的 TCP 协议且具有多种语言的客户端功能库
  • 具有用于信息统计、管理员操作和实现生产者等的 HTTP 接口
  • 为实时检测集成了统计数据收集器 StatsD
  • 具有强大的集群管理界面,参见 nsqadmin

为了达到高效的分布式消息服务,NSQ 实现了合理、智能的权衡,从而使得其能够完全适用于生产环境中,具体内容如下:

  • 支持消息内存队列的大小设置,默认完全持久化(值为 0),消息即可持久到磁盘也可以保存在内存中
  • 保证消息至少传递一次, 以确保消息可以最终成功发送
  • 收到的消息是无序的, 实现了松散订购
  • 发现服务 nsqlookupd 具有最终一致性, 消息最终能够找到所有 Topic 生产者

官方和第三方还为 NSQ 开发了众多客户端功能库,如官方提供的基于 HTTP 的 nsqd 、Go 客户端 go-nsq 、Python 客户端 pynsq 、基于 Node.js 的 JavaScript 客户端 nsqjs 、异步 C 客户端 libnsq 、Java 客户端 nsq-java 以及基于各种语言的众多第三方客户端功能库。更多客户端功能库, 请读者点击这里查看。

从NSQ 的设计文档中得知,单个nsqd 被设计为一次能够处理多个流数据,NSQ 中的数据流模型是由stream 和consumer 组成。Topic 是一种独特的stream,Channel 是一个订阅了给定Topic 的consumer 逻辑分组。NSQ 的数据流模型结构如下图所示:

从上图可以看出,单个nsqd 可以有多个Topic,每个Topic 又可以有多个Channel。Channel 能够接收Topic 所有消息的副本,从而实现了消息多播分发;而Channel 上的每个消息被分发给它的订阅者,从而实现负载均衡,所有这些就组成了一个可以表示各种简单和复杂拓扑结构的强大框架。


NSQ 最初为提供短链接服务的应用 Bitly 而开发。另外,还有众多著名的应用在使用 NSQ,如社交新闻网站 Digg 、私密的社交应用 Path 、著名的开源的应用容器引擎 Docker 、支付公司 Stripe 、新闻聚合网站 Buzzfeed 、查看家人所在位置的移动应用 Life360 、网络工具公司 SimpleReach 等。

有兴趣的读者还可以为 NSQ 贡献代码、反馈问题或者通过官方提供的快速入门教程体验下NSQ 为高吞吐量的网络服务带来的性能提升。有关NSQ 的安装部署、客户端开发等相关信息,请登录其官网查看。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2015-02-06 10:4648354
用户头像

发布了 46 篇内容, 共 51.2 次阅读, 收获喜欢 15 次。

关注

评论

发布
暂无评论
发现更多内容

单点登录授权认证必知必会

青柚1943

OAuth2 SSO 单点登录 OIDC Ids4

ATRS Week 5

Geek_c25301

orc file format

Downal

orc

如何快速从ETL到ELT?火山引擎ByteHouse做了这三件事

字节跳动数据平台

数据仓库 云原生 ETL ELT 企业号9月PK榜

VR虚拟现实技术在2023年的10个应用

3DCAT实时渲染

实时渲染云 VR虚拟现实

FTP这么“好用”和“便宜”,为什么企业还要替换掉?

镭速

FTP传输替代方案 ftp传输

场景题:海量数据如何判重?

王磊

Java Java面试题

即时通讯私有化部署,为什么更符合企业对钉钉和企微的替代需求?

WorkPlus

福布斯:2024 年 10 大 AI 趋势

豆哥

人工智能 福布斯 AI趋势 2024

WorkPlus打造企业内网专属通讯软件,构建高效沟通新时代

WorkPlus

量化交易系统搭建开发

V\TG【ch3nguang】

量化投资 量化跟单

记录您对左耳朵耗子(陈皓)的点滴回忆

坚果

如何从项目思维成功转型为产品思维?实用步骤全解析

PingCode

项目管理 产品经理

合约量化交易软件搭建开发部署

V\TG【ch3nguang】

量化合约

Databend 开源周报第 111 期

Databend

征服数据宇宙,新华三存储护卫队早有准备?

白洞计划

存储

CDN在互联网直播中的运用与性能优化

天翼云开发者社区

CDN

.NET常见的4种加密算法

青柚1943

从内核世界透视 mmap 内存映射的本质(原理篇)

bin的技术小屋

操作系统 Linux Kenel 内核 mmap内存映射 linux\

WorkPlus Meet私有化部署视频会议,打造更安全的沟通体验

WorkPlus

搞不懂设计模式还想阅读源码?你在做梦吗?

程序员万金游

学习 设计模式 #java 程序员 java `后端

【直播预约中】 腾讯大数据 x StarRocks|构建新一代实时湖仓

StarRocks

数据库 大数据 数据湖

C++中的深拷贝和浅拷贝介绍

攻城狮Wayne

如何借助上线初期运维管理守住项目建设最后一公里

鲸品堂

运维 企业号9月PK榜

将个人PC转变为高效的云电脑:理论、实践与优化

天翼云开发者社区

云电脑

前端工程化小记

高端章鱼哥

前端 注释规范

自动化量化交易APP软件系统开发

V\TG【ch3nguang】

通过 Helm Chart 部署 Easysearch

极限实验室

Helm easysearch

低代码与低代码平台的概念解析

这我可不懂

低代码 数字化转型 JNPF

低代码平台:顺应时代的选择

树上有只程序猿

低代码 应用开发 JNPF

项目质量管理的重要性

PingCode

质量管理 项目经理

NSQ:分布式的实时消息平台_语言 & 开发_李小兵_InfoQ精选文章