ActiveMQ高可用集群安装、配置(zookeeper + LevelDB)

2024-04-12 12:38

本文主要是介绍ActiveMQ高可用集群安装、配置(zookeeper + LevelDB),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

从ActiveMQ5.9开始,ActiveMQ的集群实现方式取消了传统的Master-Slave方式,增加了基于zookeeper + LevelDB的Master-Slave实现方式,其他两种方式“目录共享”和“数据库共享”依然存在。

三种集群方式的对比:

(1)基于共享文件系统(KahaDB,默认)

<persistenceAdapter>
    <kahaDB directory="${activemq.data}/kahadb"/>
</persistenceAdapter>

(2)基于JDBC

<bean id="mysql-ds" class="org.apache.commons.dbcp.BasicDataSource" destroy-method="close">
    <property name="driverClassName" value="com.mysql.jdbc.Driver"/>
    <property name="url" value="jdbc:mysql://localhost:3306/amq?relaxAutoCommit=true"/>
    <property name="username" value="root"/>
    <property name="password" value="root"/>
    <property name="maxActive" value="20"/>
    <property name="poolPreparedStatements" value="true"/>
</bean>
<persistenceAdapter>
    <jdbcPersistenceAdapter dataDirectory="${activemq.data}" dataSource="#mysql-ds"
        createTablesOnStartup="false"/>
</persistenceAdapter>

(3)基于可复制的LevelDB

LevelDB是谷歌开发的一套用于持久化数据的功性能类库。LevelDB并不是一种服务,用户需要自行实现Server。是单进程的服务,能够实现十亿级别规模Key-Value型数据,占用内存小。

<persistenceAdapter>
    <replicatedLevelDB
    directory="${activemq.data}/leveldb"
    replicas="3"
    bind="tcp://0.0.0.0:62621"
    zkAddress="localhost:2181,localhost:2182,localhost:2183"
    hostname="localhost"
    zkPath="/activemq/leveldb-stores"
    />
</persistenceAdapter>

本文主要讲解基于zookeeper的LevelDB搭建ActiveMQ集群。

集群仅提供主备方式的高可用集群功能,避免单点故障,没有负载均衡功能。

原理如图:

高可用的原理:使用zookeeper集群注册所有的ActiveMQ Broker。至于其中的一个Broker可以提供服务,被视为Master,其他的Broker处于待机状态,被视为Slave。如果Master因故障不能提供服务,Zookeeper会从Slave中选举出一个Broker充当Master。

Slave连接Master并同步它们的存储状态,Slave不接受客户端连接。所有的存储操作都将被复制到连接至Master的Slave中。如果Master宕机了,得到了最新更新的Slave会成为Master。故障节点在恢复后会重新加入到集群中并连接Master进入Slave模式。

所有需要同步的disk的消息操作都将等待存储状态被复制到其他法定节点的操作完成才能完成。所以如果配置了replicas=3,那么法定大小是(3/2)+1=2。Master将会存储并更新然后等待(2-1)=1个Slave存储和更新完成,才汇报success。至于为什么是2-1,熟悉zookeeper的应该知道,有一个node要作为观察者存在。当一个新的Master被选中,需要保障至少一个法定node在线以能够找到拥有最新状态的node,这个node可以成为最新的Master,因此,推荐运行至少3个replica node,以防止一个node失败了,服务中断。(原理与zookeeper集群的高可用实现方式类似)

1.ActiveMQ集群部署规划

zookeeper集群环境:192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183

主机集群端口消息端口管控台端口节点安装目录
192.168.1.8162621515118161/home/wusc/activemq/node-01
192.168.1.8262622515128162/home/wusc/activemq/node-02
192.168.1.8362623515138163/home/wusc/activemq/node-03

2.防火墙中打开以上所有端口

3.分别在3台主机中创建/root/tengjs/activemq目录

$ mkdir /root/tengjs/activemq

上传apache-activemq-5.11.1-bin.tar.gz到/root/tengjs/activemq目录

4.解压并按节点命名

$ cd /root/tengjs/activemq

$ tar -xvf apache-activemq-5.11.1-bin.tar.gz

$ mv apache-activemq-5.11.1 node-0X #(X 代表节点号 1、 2、 3, 下同)

5.修改管理控制台端口(默认为8161),可在conf/jetty.xml中修改,如下:

node-01管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8161"/>
</bean>

node-02管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8162"/>
</bean>

node-03管控台端口

<bean id="jettyPort" class="org.apache.activemq.web.WebConsolePort" init-method="start">
    <!-- the default port number for the web console -->
    <property name="host" value="0.0.0.0"/>
    <property name="port" value="8163"/>
</bean>

6.集群配置

在3个ActiveMQ节点中配置conf/activemq.xml中的持久化适配器。修改其中的bind、zkAddress、hostname、zkPath

注意每个ActiveMQ的BrokerName必须相同,否则不能加入集群。

node-01中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62621"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-01"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-02中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62622"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-02"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

node-03中的持久化配置

<broker xmlns="http://activemq.apache.org/schema/core" brokerName="DubboEdu" dataDirectory="${activemq.data}">
    <persistenceAdapter>
        <!-- kahaDB directory="${activemq.data}/kahadb"/ -->
        <replicatedLevelDB
        directory="${activemq.data}/leveldb"
        replicas="3"
        bind="tcp://0.0.0.0:62623"
        zkAddress="192.168.1.81:2181,192.168.1.82:2182,192.168.1.83:2183"
        hostname="edu-zk-03"
        zkPath="/activemq/leveldb-stores"/>
    </persistenceAdapter>
</broker>

修改各节点的消息端口(注意避免端口冲突)

node-01中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51511?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-02中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51512?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

node-03中的消息端口配置

<transportConnectors>
<!-- DOS protection, limit concurrent connections to 1000 and frame size to 100MB -->
<transportConnector name="openwire" uri="tcp://0.0.0.0:51513?maximumConnections=1000&wireFormat.maxFrameSize=104857600"/>
</transportConnectors>

7.按顺序启动3个ActiveMQ节点

$ /home/wusc/activemq/node-01/bin/activemq start

$ /home/wusc/activemq/node-02/bin/activemq start

$ /home/wusc/activemq/node-03/bin/activemq start

监听日志

$ tail -f /home/wusc/activemq/node-01/data/activemq.log

$ tail -f /home/wusc/activemq/node-02/data/activemq.log

$ tail -f /home/wusc/activemq/node-03/data/activemq.log

8.集群的节点状态分析

集群启动后对zookeeper数据的抓图,可以看到ActiveMQ有3个节点,分别是00000000000,00000000001和00000000002。

以下第一张图展现了00000000000的值,可以看到elected的值是不为空,说明这个节点是Master,其他两个节点是Slave。

9.集群可用性测试ActiveMQ的客户端只能访问Master的Broker,其他处于Slave的Broker不能访问,所以客户端连接Broker应该使用failover协议

failover:(tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513)?randomize=false

10.当一个ActiveMQ节点挂掉,或者一个zookeeper节点挂掉,ActiveMQ服务依然正常运转。如果仅剩一个ActiveMQ节点,因为不能选举Master,ActiveMQ不能正常运转;同样的,如果zookeeper仅剩一个节点活动,不管ActiveMQ是否存活,ActiveMQ也不能正常提供服务。

ActiveMQ集群的高可用,依赖于zookeeper集群的高可用。

11.设置开机启动

12.配置优化(可选)

updateURIsURL,通过URL(或者本地路径)获取重连的url,这样做具有良好的扩展性,因为客户端每次连接都是从RUL(或文件)中加载一次,所以可以随时从文件中更新url列表,做到动态添加MQ的备点。

failover:()?randomize=false&updateURIsURL=file:/home/wusc/activemq/urllist.txt

urllist.txt中的地址通过英文逗号分隔,示例:

tcp://192.168.1.81:51511,tcp://192.168.1.82:51512,tcp://192.168.1.83:51513

官方警告:

replicatedLevelDB不支持延迟或者计划任务消息。这些消息存储在另外的LevelDB文件中,如果使用延迟或者计划任务消息,将不会复制到slave Broker上,不能实现消息的高可用。

这篇关于ActiveMQ高可用集群安装、配置(zookeeper + LevelDB)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/897155

相关文章

mysql5.7.15winx64配置全过程

《mysql5.7.15winx64配置全过程》文章详细介绍了MySQL5.7.15免安装版的配置步骤,包括解压安装包、设置环境变量、修改配置文件、初始化数据目录、安装服务、启动数据库、登录及密码修改... 目录前言一、首先下载安装包二、安android装步骤1.第一步解压文件2.配置环境变量3.复制my-

Python库 Django 的简介、安装、用法入门教程

《Python库Django的简介、安装、用法入门教程》Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,... 目录一、Django 简介 二、Django 的安装教程 1. 创建虚拟环境2. 安装Django三、创

linux安装、更新、卸载anaconda实践

《linux安装、更新、卸载anaconda实践》Anaconda是基于conda的科学计算环境,集成1400+包及依赖,安装需下载脚本、接受协议、设置路径、配置环境变量,更新与卸载通过conda命令... 目录随意找一个目录下载安装脚本检查许可证协议,ENTER就可以安装完毕之后激活anaconda安装更

Jenkins的安装与简单配置过程

《Jenkins的安装与简单配置过程》本文简述Jenkins在CentOS7.3上安装流程,包括Java环境配置、RPM包安装、修改JENKINS_HOME路径及权限、启动服务、插件安装与系统管理设置... 目录www.chinasem.cnJenkins安装访问并配置JenkinsJenkins配置邮件通知

Conda国内镜像源及配置过程

《Conda国内镜像源及配置过程》文章介绍Conda镜像源使用方法,涵盖临时指定单个/多个源、永久配置及恢复默认设置,同时说明main(官方稳定)、free(逐渐弃用)、conda-forge(社区更... 目录一、Conda国内镜像源二、Conda临时使用镜像源指定单个源临时指定多个源创建环境时临时指定源

MySQL配置多主复制的实现步骤

《MySQL配置多主复制的实现步骤》多主复制是一种允许多个MySQL服务器同时接受写操作的复制方式,本文就来介绍一下MySQL配置多主复制的实现步骤,具有一定的参考价值,感兴趣的可以了解一下... 目录1. 环境准备2. 配置每台服务器2.1 修改每台服务器的配置文件3. 安装和配置插件4. 启动组复制4.

通过配置nginx访问服务器静态资源的过程

《通过配置nginx访问服务器静态资源的过程》文章介绍了图片存储路径设置、Nginx服务器配置及通过http://192.168.206.170:8007/a.png访问图片的方法,涵盖图片管理与服务... 目录1.图片存储路径2.nginx配置3.访问图片方式总结1.图片存储路径2.nginx配置

nginx配置错误日志的实现步骤

《nginx配置错误日志的实现步骤》配置nginx代理过程中,如果出现错误,需要看日志,可以把nginx日志配置出来,以便快速定位日志问题,下面就来介绍一下nginx配置错误日志的实现步骤,感兴趣的可... 目录前言nginx配置错误日志总结前言在配置nginx代理过程中,如果出现错误,需要看日志,可以把

SpringBoot结合Knife4j进行API分组授权管理配置详解

《SpringBoot结合Knife4j进行API分组授权管理配置详解》在现代的微服务架构中,API文档和授权管理是不可或缺的一部分,本文将介绍如何在SpringBoot应用中集成Knife4j,并进... 目录环境准备配置 Swagger配置 Swagger OpenAPI自定义 Swagger UI 底

Oracle迁移PostgreSQL隐式类型转换配置指南

《Oracle迁移PostgreSQL隐式类型转换配置指南》Oracle迁移PostgreSQL时因类型差异易引发错误,需通过显式/隐式类型转换、转换关系管理及冲突处理解决,并配合验证测试确保数据一致... 目录一、问题背景二、解决方案1. 显式类型转换2. 隐式转换配置三、维护操作1. 转换关系管理2.