NSQ源码分析(四)——inFlightPqueue和PriorityQueue优先级队列

2023-12-16 16:32

本文主要是介绍NSQ源码分析(四)——inFlightPqueue和PriorityQueue优先级队列,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在Channel结构体中用到了两种优先级队列pqueue.PriorityQueue和inFlightPqueue。

deferredMessages map[MessageID]*pqueue.Item
deferredPQ       pqueue.PriorityQueue
deferredMutex    sync.MutexinFlightMessages map[MessageID]*Message
inFlightPQ       inFlightPqueue
inFlightMutex    sync.Mutex

       其中deferredMessages和inFlightMessages 使用map储存了MessageID和Message的对应关系,用于根据MessageID获取对应的Message。而deferredPQ和inFlightPQ是两种优先级队列。deferredPQ队列中储存了延时消息和消息投递失败需要等待指定时间后重新投递的消息,inFlightPQ队列中储存了正在投递但还没确认投递成功的消息。

 

一、PriorityQueue优先级队列

       源码位置在 nsq/internal/pqueue/pqueue.go文件中

      

PriorityQueue实现了Golang源码包heap中的接口,是最小堆。在了解PriorityQueue之前需要先对堆的概念有了解,可以参考:

https://blog.csdn.net/skh2015java/article/details/83183681

PriorityQueue队列中储存的是Item指针,Item结构体及字段说明如下:

type Item struct {Value interface{} //储存的消息内容Priority int64 //优先级的时间点Index int //在切片中的索引值}

   这三个方法用于排序,按Priority字段排序

func (pq PriorityQueue) Len() int {return len(pq)}func (pq PriorityQueue) Less(i, j int) bool {return pq[i].Priority < pq[j].Priority}func (pq PriorityQueue) Swap(i, j int) {pq[i], pq[j] = pq[j], pq[i]pq[i].Index = ipq[j].Index = j}

  常用方法:

  

    New函数用于初始化队列并指定cap

   
func New(capacity int) PriorityQueue {return make(PriorityQueue, 0, capacity)}

  Push函数用于向队列中添加元素

  Pop函数用于取出队列中优先级最高的元素(即Priority值最小,也就是根部元素)

  PeekAndShift(max int64) 用于判断根部的元素是否超过max,如果超过则返回nil,如果没有则返回并移除根部元素(根部元素是最小值)

    在实际的项目中Priority字段存的是时间戳,比如说5分钟之后投递本条消息,则Priority字段存的就是5分钟之后的时间戳。而PeekAndShift(max int64)中max值就是当前时间,如果队列中的根部元素大于当前时间戳max的值,则说明队列中没有可以投递的消息,故返回nil。如果小于等于,则根部元素存放的消息可以投递,就是就返回并移除该根部元素。

func (pq *PriorityQueue) PeekAndShift(max int64) (*Item, int64) {if pq.Len() == 0 {return nil, 0}item := (*pq)[0] //获取根部元素if item.Priority > max {return nil, item.Priority - max}heap.Remove(pq, 0) //移除根部元素,并重新排列堆,使根部元素为最小值return item, 0}

 

  二、inFlightPqueue优先级队列

     

源码位置:nsq/nsqd/in_flight_pqueue.go文件中

  inFlightPqueue队列中存放的元素是Message的指针,也是最小堆,和PriorityQueue队列类似。inFlightPqueue队列按Message中的pri字段进行排序的(pri也是时间戳,是投递消息的超时时间)

  常用方法:

     Swap函数用于交换两个元素的位置,索 引值也随之改变

     Push函数向队列中添加元素

     Pop函数移除队列中的根部元素

     Remove(i int)函数移除队列中指点位置的元素

     PeekAndShit函数用于判断根部的元素是否超过max,如果超过则返回nil,如果没有则返回并移除根部元素(根部元素是最小值)

本节主要对两种队列进行了解和学习,下篇的Channel会进一步探讨这两种队列中消息的传递。

这篇关于NSQ源码分析(四)——inFlightPqueue和PriorityQueue优先级队列的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/501136

相关文章

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

Android 缓存日志Logcat导出与分析最佳实践

《Android缓存日志Logcat导出与分析最佳实践》本文全面介绍AndroidLogcat缓存日志的导出与分析方法,涵盖按进程、缓冲区类型及日志级别过滤,自动化工具使用,常见问题解决方案和最佳实... 目录android 缓存日志(Logcat)导出与分析全攻略为什么要导出缓存日志?按需过滤导出1. 按

Linux中的HTTPS协议原理分析

《Linux中的HTTPS协议原理分析》文章解释了HTTPS的必要性:HTTP明文传输易被篡改和劫持,HTTPS通过非对称加密协商对称密钥、CA证书认证和混合加密机制,有效防范中间人攻击,保障通信安全... 目录一、什么是加密和解密?二、为什么需要加密?三、常见的加密方式3.1 对称加密3.2非对称加密四、

MySQL中读写分离方案对比分析与选型建议

《MySQL中读写分离方案对比分析与选型建议》MySQL读写分离是提升数据库可用性和性能的常见手段,本文将围绕现实生产环境中常见的几种读写分离模式进行系统对比,希望对大家有所帮助... 目录一、问题背景介绍二、多种解决方案对比2.1 原生mysql主从复制2.2 Proxy层中间件:ProxySQL2.3

python使用Akshare与Streamlit实现股票估值分析教程(图文代码)

《python使用Akshare与Streamlit实现股票估值分析教程(图文代码)》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

MySQL中EXISTS与IN用法使用与对比分析

《MySQL中EXISTS与IN用法使用与对比分析》在MySQL中,EXISTS和IN都用于子查询中根据另一个查询的结果来过滤主查询的记录,本文将基于工作原理、效率和应用场景进行全面对比... 目录一、基本用法详解1. IN 运算符2. EXISTS 运算符二、EXISTS 与 IN 的选择策略三、性能对比

MySQL 内存使用率常用分析语句

《MySQL内存使用率常用分析语句》用户整理了MySQL内存占用过高的分析方法,涵盖操作系统层确认及数据库层bufferpool、内存模块差值、线程状态、performance_schema性能数据... 目录一、 OS层二、 DB层1. 全局情况2. 内存占js用详情最近连续遇到mysql内存占用过高导致

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类