RabbitMQ流控-内存控制

2024-01-23 08:18
文章标签 内存 控制 rabbitmq 流控

本文主要是介绍RabbitMQ流控-内存控制,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

RabbitMQ服务器启动和执行rabbitmqctl set_vm_memory_high_watermark fraction命令时会检测计算机中安装的RAM(内存)总量。默认情况下,当RabbitMQ服务器使用超过40%的可用RAM时,它会发出内存警报并阻塞所有正在发布消息的Connection。一旦内存警报清除(例如,由于服务器将消息写到磁盘或将其投递给客户端消费并进行投递确认),服务恢复正常。

默认内存阈值设置为已安装RAM的40%。请注意,这并不会阻止RabbitMQ服务器使用超过40%的资源,这仅仅是对发布者(生产者)的限制。在最坏的情况下,Erlang的垃圾收集器会导致使用的内存数量增加一倍(默认情况下是80%的RAM)。强烈建议启用OS交换或page文件。

32位系统单进程的内存限制设置为2GB。64位系统的常见实现(例如AMD64和Intel EM64T)只允许每个进程256TB。64位Windows进一步将其限制为8TB。但是,请注意,即使在64位操作系统下,32位进程通常也只有2GB的最大地址空间。就是说,无论你的内存多大,你的默认阈值均为2GB*0.4=0.8GB(820M左右)。

Configuring the Memory Threshold

通过编辑配置文件,可以调整触发流控的内存阈值。下面的例子将阈值设置为默认值0.4:

vm_memory_high_watermark.relative = 0.4或
[{rabbit, [{vm_memory_high_watermark, 0.4}]}]

默认值0.4表示已安装RAM的40%或可用虚拟地址空间的40%(以较小的值为准)。例如,在32位平台上,如果您安装了4GB RAM,那么4GB的40%是1.6GB,但是32位Windows通常将进程限制为2GB,因此阈值实际上是2GB的40%(即820MB)。

或者,可以通过设置节点使用的RAM的绝对限制来调整内存阈值。下面的示例将阈值设置为1073741824字节(1024 MB):

vm_memory_high_watermark.absolute = 1073741824或
[{rabbit, [{vm_memory_high_watermark, {absolute, 1073741824}}]}]

使用内存单位:

vm_memory_high_watermark.absolute = 1024MB
([{rabbit, [{vm_memory_high_watermark, {absolute, "1024MiB"}}]}])
或
vm_memory_high_watermark.absolute = 1GB

如果绝对限制大于已安装的RAM或可用虚拟地址空间,则将阈值设置为较小的限制。

当RabbitMQ服务器启动时,内存限制信息会打印到RABBITMQ_NODENAME.log文件:

=INFO REPORT==== 29-Oct-2009::15:43:27 ===
Memory limit set to 2048MB.

还可以使用rabbitmqctl status命令查询内存限制。

当代理使用rabbitmqctl set_vm_memory_high_watermark fraction命令或rabbitmqctl set_vm_memory_high_watermark absolute memory_limit命令运行时,可以更改阈值。在这个命令中也可以使用内存单位。此命令将一直生效,直到代理(broker)关闭。在代理重新启动之后,还应该更改相应的配置设置。在不更改阈值的情况下执行此命令时,对于具有热插拔RAM的系统,内存限制可能会更改,原因是查询了系统RAM的总数量。

Disabling All Publishing

如果值为0,则内存警报将立即关闭,从而最终阻塞所有发布Connection(如果希望禁用全局发布,这可能很有用);
使用rabbitmqctl set_vm_memory_high_watermark 0

Limited Address Space

当在64位OS(或带有PAE的32位OS)的32位Erlang VM中运行RabbitMQ时,可寻址内存是有限的。服务器将检测到这一点,并记录如下消息:

=WARNING REPORT==== 19-Dec-2013::11:27:13 ===
Only 2048MB of 12037MB memory usable due to limited address space.
Crashes due to memory exhaustion are possible - see
http://www.rabbitmq.com/memory.html#address-space

因此强烈建议在64位OS上运行时使用64位Erlang VM。

Configuring the Paging Threshold

在代理(broker)到达内存阈值并阻塞发布者之前,它将尝试通过指示队列将其内容发送(Page)到磁盘来释放内存。
持久消息和临时消息都将被换出(持久消息已经在磁盘上,但将从内存中删除)。

默认情况下,当代理到达内存阈值的50%的位置时就会发生这种情况(即默认内存阈值为0.4时,使用20%的内存)。
要更改此值,请将vm_memory_high_watermark_paging_ratio配置的默认值修改为0.5。例如:

vm_memory_high_watermark_paging_ratio = 0.75
vm_memory_high_watermark.relative = 0.4
经典格式
[{rabbit, [{vm_memory_high_watermark_paging_ratio, 0.75},{vm_memory_high_watermark, 0.4}]}]

上面的配置在使用内存的30%时开始Page,在40%时阻塞发布者。

可以将vm_memory_high_watermark_paging_ratio设置为大于1.0的值。在这种情况下,队列不会将其内容page到磁盘。如果这导致内存警报关闭,那么将如上所述(直接)阻塞producer。

这篇关于RabbitMQ流控-内存控制的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/635780

相关文章

基于Python开发Windows自动更新控制工具

《基于Python开发Windows自动更新控制工具》在当今数字化时代,操作系统更新已成为计算机维护的重要组成部分,本文介绍一款基于Python和PyQt5的Windows自动更新控制工具,有需要的可... 目录设计原理与技术实现系统架构概述数学建模工具界面完整代码实现技术深度分析多层级控制理论服务层控制注

Python内存管理机制之垃圾回收与引用计数操作全过程

《Python内存管理机制之垃圾回收与引用计数操作全过程》SQLAlchemy是Python中最流行的ORM(对象关系映射)框架之一,它提供了高效且灵活的数据库操作方式,本文将介绍如何使用SQLAlc... 目录安装核心概念连接数据库定义数据模型创建数据库表基本CRUD操作创建数据读取数据更新数据删除数据查

k8s容器放开锁内存限制问题

《k8s容器放开锁内存限制问题》nccl-test容器运行mpirun时因NCCL_BUFFSIZE过大导致OOM,需通过修改docker服务配置文件,将LimitMEMLOCK设为infinity并... 目录问题问题确认放开容器max locked memory限制总结参考:https://Access

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

Redis实现高效内存管理的示例代码

《Redis实现高效内存管理的示例代码》Redis内存管理是其核心功能之一,为了高效地利用内存,Redis采用了多种技术和策略,如优化的数据结构、内存分配策略、内存回收、数据压缩等,下面就来详细的介绍... 目录1. 内存分配策略jemalloc 的使用2. 数据压缩和编码ziplist示例代码3. 优化的

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象

Python内存优化的实战技巧分享

《Python内存优化的实战技巧分享》Python作为一门解释型语言,虽然在开发效率上有着显著优势,但在执行效率方面往往被诟病,然而,通过合理的内存优化策略,我们可以让Python程序的运行速度提升3... 目录前言python内存管理机制引用计数机制垃圾回收机制内存泄漏的常见原因1. 循环引用2. 全局变

spring AMQP代码生成rabbitmq的exchange and queue教程

《springAMQP代码生成rabbitmq的exchangeandqueue教程》使用SpringAMQP代码直接创建RabbitMQexchange和queue,并确保绑定关系自动成立,简... 目录spring AMQP代码生成rabbitmq的exchange and 编程queue执行结果总结s

Spring Boot集成/输出/日志级别控制/持久化开发实践

《SpringBoot集成/输出/日志级别控制/持久化开发实践》SpringBoot默认集成Logback,支持灵活日志级别配置(INFO/DEBUG等),输出包含时间戳、级别、类名等信息,并可通过... 目录一、日志概述1.1、Spring Boot日志简介1.2、日志框架与默认配置1.3、日志的核心作用