NSQ:分布式消息队列

2024-09-06 11:44
文章标签 队列 分布式 消息 nsq

本文主要是介绍NSQ:分布式消息队列,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

      • NSQ 基本概念
      • NSQ 安装与运行
        • 安装
        • 运行
      • NSQ 使用示例
        • 生产者发布消息
        • 消费者接收消息
      • 生产者与消费者
      • NSQ 的管理与监控
      • 总结

NSQ 是一个高可用、分布式、实时的消息队列系统,广泛用于分布式应用之间的消息传递。NSQ 以其简单、高效、易于扩展的特性深受开发者的喜爱。本文将介绍 NSQ 的基本概念、安装配置以及如何使用。

NSQ 基本概念

在 NSQ 中,有几个重要的概念:

  1. Topic(主题):消息的分类,每条消息都被发布到某个特定的主题中。
  2. Channel(通道):每个 Topic 可以有多个 Channel,消费者通过订阅 Channel 接收消息。每个 Channel 独立消费同一个 Topic 的消息。
  3. Producer(生产者):负责发布消息到指定的 Topic 中。
  4. Consumer(消费者):从 Channel 中接收消息进行处理。
  5. nsqd:消息存储服务,负责接收、排队、分发消息。
  6. nsqlookupd:服务发现模块,帮助生产者和消费者发现彼此。
  7. nsqadmin:Web 界面,用于监控 NSQ 集群状态。

NSQ 通过无中心化设计,保证了系统的可扩展性和高可用性。

NSQ 安装与运行

安装

nsq有多种安装方式都非常简单。

nsq安装方式:

  • 二进制版本
  • Docker部署
  • 从源代码构建

我们选择直接下载官方预构建二进制版本的方式进行演示。
官方下载地址:https://nsq.io/deployment/installing.html

运行
  1. 下载当前稳定的版本后解压,解压后的bin目录中包含nsqd, nsqlookupd, nsqadmin 等二进制文件。

  2. 运行 nsqlookupd
    nsqlookupd 是 NSQ 集群中的服务发现组件,用于管理生产者和消费者的注册。

    ./nsqlookupd
    
  3. 运行 nsqd
    nsqd 是核心的消息队列服务器,负责管理消息队列。启动时需要指定 --lookupd-tcp-address 以注册到 nsqlookupd

    ./nsqd --lookupd-tcp-address=127.0.0.1:4160
    
  4. 运行 nsqadmin
    nsqadmin 提供了一个 Web 界面,方便监控集群状态。

    ./nsqadmin --lookupd-http-address=127.0.0.1:4161
    

打开浏览器访问 http://127.0.0.1:4171 查看 Web 控制台。

NSQ 使用示例

NSQ 的生产者和消费者可以使用 HTTP API 或官方客户端库进行消息的发布和消费。

生产者发布消息

假设你要发布消息到名为 test 的主题中,可以通过 HTTP 请求发布消息:

curl -d 'hello world 1' 'http://127.0.0.1:4151/pub?topic=test'
消费者接收消息

你可以使用 nsq_to_file 作为一个简单的消费者,将消息写入文件中:

./nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161

生产者与消费者

NSQ 的生产者和消费者之间没有直接的连接关系,而是通过 nsqd 进行解耦。这种无中心化设计非常适合处理分布式系统中的高并发消息。

  1. 生产者:使用 HTTP API 或官方 SDK(如 Go、Python,Java)将消息发布到 NSQ 的某个 Topic 上。

  2. 消费者:订阅某个 Channel 并处理消息。不同的 Channel 消费独立,不会互相干扰。

NSQ 的管理与监控

NSQ 提供了多个工具来帮助管理和监控集群状态:

  1. nsqadmin:Web 界面,显示每个 Topic、Channel 和消息的处理状态。
  2. nsq_stat:命令行工具,用于查看当前 NSQ 集群的状态。

使用 nsq_stat 命令查看 NSQ 的统计信息:

./nsq_stat --lookupd-http-address=127.0.0.1:4161

该命令会输出集群中消息的发布和消费情况。

总结

NSQ 是一个高效、易于部署的分布式消息队列系统,适合需要高吞吐量和低延迟的场景。通过无中心化设计,它能够在多台机器上扩展,并且具有很高的可用性。通过本文的教程,你可以快速上手 NSQ,并将其应用于生产环境。

这篇关于NSQ:分布式消息队列的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1141915

相关文章

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

Redis实现分布式锁全过程

《Redis实现分布式锁全过程》文章介绍Redis实现分布式锁的方法,包括使用SETNX和EXPIRE命令确保互斥性与防死锁,Redisson客户端提供的便捷接口,以及Redlock算法通过多节点共识... 目录Redis实现分布式锁1. 分布式锁的基本原理2. 使用 Redis 实现分布式锁2.1 获取锁

聊聊springboot中如何自定义消息转换器

《聊聊springboot中如何自定义消息转换器》SpringBoot通过HttpMessageConverter处理HTTP数据转换,支持多种媒体类型,接下来通过本文给大家介绍springboot中... 目录核心接口springboot默认提供的转换器如何自定义消息转换器Spring Boot 中的消息

Redis分布式锁中Redission底层实现方式

《Redis分布式锁中Redission底层实现方式》Redission基于Redis原子操作和Lua脚本实现分布式锁,通过SETNX命令、看门狗续期、可重入机制及异常处理,确保锁的可靠性和一致性,是... 目录Redis分布式锁中Redission底层实现一、Redission分布式锁的基本使用二、Red

redis和redission分布式锁原理及区别说明

《redis和redission分布式锁原理及区别说明》文章对比了synchronized、乐观锁、Redis分布式锁及Redission锁的原理与区别,指出在集群环境下synchronized失效,... 目录Redis和redission分布式锁原理及区别1、有的同伴想到了synchronized关键字

分布式锁在Spring Boot应用中的实现过程

《分布式锁在SpringBoot应用中的实现过程》文章介绍在SpringBoot中通过自定义Lock注解、LockAspect切面和RedisLockUtils工具类实现分布式锁,确保多实例并发操作... 目录Lock注解LockASPect切面RedisLockUtils工具类总结在现代微服务架构中,分布

RabbitMQ消息总线方式刷新配置服务全过程

《RabbitMQ消息总线方式刷新配置服务全过程》SpringCloudBus通过消息总线与MQ实现微服务配置统一刷新,结合GitWebhooks自动触发更新,避免手动重启,提升效率与可靠性,适用于配... 目录前言介绍环境准备代码示例测试验证总结前言介绍在微服务架构中,为了更方便的向微服务实例广播消息,

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

java向微信服务号发送消息的完整步骤实例

《java向微信服务号发送消息的完整步骤实例》:本文主要介绍java向微信服务号发送消息的相关资料,包括申请测试号获取appID/appsecret、关注公众号获取openID、配置消息模板及代码... 目录步骤1. 申请测试系统2. 公众号账号信息3. 关注测试号二维码4. 消息模板接口5. Java测试

Java中常见队列举例详解(非线程安全)

《Java中常见队列举例详解(非线程安全)》队列用于模拟队列这种数据结构,队列通常是指先进先出的容器,:本文主要介绍Java中常见队列(非线程安全)的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一.队列定义 二.常见接口 三.常见实现类3.1 ArrayDeque3.1.1 实现原理3.1.2