RocketMQ双主双从集群搭建

最新推荐文章于 2024-09-19 15:26:02 发布
最新推荐文章于 2024-09-19 15:26:02 发布
阅读量2.2k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： RocketMQ 文章标签： spring boot java spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liangwenmail/article/details/121514637
本文详细指导如何在 RocketMQ中实现2M-2S同步双写模式，涉及配置主节点master-a、slave-a，以及从节点master-b、slave-b，包括修改JVM内存、设置nameserver和broker属性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主从采用同步双写，刷盘采用异步刷盘模式，参考集群（broker cluster）架构如下：

参考前面的RocketMQ集群搭建，上传RocketMQ源码包到各个服务节点，进行编译部署。由于机器内存限制，需要修改运行脚本（runbroker.sh runserver.sh）的默认jvm内存参。在部署broker前还需启动nameserver。

 一  部署master a

根据安装目录修正如下路径进入修改配置文件

/usr/local/java/rocketmq/rocketmq/distribution/target/apache-rocketmq/conf/2m-2s-sync/broker-a.properties
#nameserver地址填写实际部署访问地址，多个节点用;分割
namesrvAddr=192.168.50.138:9876;192.168.50.139:9876
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
defaultTopicQueueNums=4
#是否运行自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#ਂؙ存储路径根据需求配置绝对路径，默认是在home目录下
#storePathRootDir=
#storePathCommitLog

启动主节点a

nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a.properties &

如果启动成功 则主节点a搭建完成。

二 部署slave a

 根据安装目录修正如下路径进入修改配置文件

/usr/local/java/rocketmq/rocketmq/distribution/target/apache-rocketmq/conf/2m-2s-sync/broker-a-s.properties
#nameserver地址填写实际部署访问地址，多个节点用;分割
namesrvAddr=192.168.50.138:9876;192.168.50.139:9876
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
defaultTopicQueueNums=4
#是否运行自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#ਂؙ存储路径根据需求配置绝对路径，默认是在home目录
#storePathRootDir=
#storePathCommitLog

主节点a的从节点只是和主节点a在配置上brokerId不同，0代表主节点，其他代表从节点。

启动主节点a的从节点。

 nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-a-s.properties &

三 部署master b

  根据安装目录修正如下路径进入修改配置文件

/usr/local/java/rocketmq/rocketmq/distribution/target/apache-rocketmq/conf/2m-2s-sync/broker-b.properties
#nameserver地址填写实际部署访问地址，多个节点用;分割
namesrvAddr=192.168.50.138:9876;192.168.50.139:9876
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
#是否运行自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#ਂؙ存储路径根据需求配置绝对路径，默认是在home目录
#storePathRootDir=
#storePathCommitLog

启动主节点b

nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b.properties &

四 部署slave b

根据安装目录修正如下路径进入修改配置文件

/usr/local/java/rocketmq/rocketmq/distribution/target/apache-rocketmq/conf/2m-2s-sync/broker-b-s.properties
#nameserver地址填写实际部署访问地址，多个节点用;分割
namesrvAddr=192.168.50.138:9876;192.168.50.139:9876
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
#是否运行自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#ਂؙ存储路径根据需求配置绝对路径，默认是在home目录
#storePathRootDir=
#storePathCommitLog

启动主节点b的从节点

 nohup sh bin/mqbroker -c conf/2m-2s-sync/broker-b-s.properties &

集群搭建完成。

docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
【RocketMQ集群】Linux搭建RocketMQ双主双从集群
编码人生
10-23 586
在当今大数据时代，消息队列系统成为了构建高可用、可扩展和可靠的分布式应用的重要组件之一。而Apache RocketMQ作为一款开源的分布式消息中间件，以其高吞吐量、低延迟和可靠性而备受青睐。为了满足大规模应用的需求，搭建RocketMQ集群是一种常见的部署方式。本文将介绍如何在Linux系统上搭建RocketMQ双主双从集群。通过搭建双主双从集群，我们可以实现消息的高可用性和容错性，确保在单个Broker节点故障时仍能保持服务的正常运行。首先，让我们了解一下RocketMQ集群的基本概念。
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 466
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1411
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3177
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
Rocketmq双主双从部署
weixin_48452961的博客
07-10 1411
总结：消息生产者生产消息前，会先向NameServer中获取Broker，这就要求Broker需先注册到NameServer中，producer获取到Broker以后，就可以生产消息并交由Broker存储，Broker内部调用模块MessageQueue存储消息，而MessageQueue又会被逻辑划分为一个一个的topic，之后，消息消费者从NameServer中获取Broker，获取到Broker后，取出消息进行消费。2）Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。
RocketMQ双主双从集群搭建部署
aaronszm的博客
06-29 752
systemctl stop firewalld.service firewall-cmd --state systemctl disable firewalld.service 或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口： nameserver 默认使用 9876 端口 master 默认使用 10911 端口 slave 默认使用11011 端口 开放name server默
Linux环境下RocketMQ双主双从异步复制+异步刷盘搭建
最新发布
m0_48333563的博客
09-19 770
Linux环境下RocketMQ双主双从异步复制+异步刷盘搭建，亲测可用。
rocketmq双主模式
weixin_30530523的博客
03-07 977
1、官网 https://rocketmq.apache.org/ 官方安装文档 https://rocketmq.apache.org/docs/quick-start/ 2、rocketmq多主配置文件参考（conf/2m-noslave/broker-a.properties） 10.0.0.2服务器 [root@a ~]# cat /usr/local/r...
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1500
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3371
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
rocketmq双主双从部署+dashbord
Grey_fantasy的博客
01-19 896
rocketmq双主双从部署+dashbord
rocketmq集群搭建双主双从多主多从
ITzhongzi的博客
12-04 1012
原理图解： 讲解： 图中每个nameserver和broker都搭建在不同的机器上，broker采用双主双从，一个主broker对应一个从broker，主broker往从broker复制一份数据，采用同步方式，即同步双写。当主broker往从broker上数据备份完成之后，采用异步刷盘策略，把主从 broker内存中的数据写入磁盘里。 优点 如图所示： 当nameserver1 服务挂掉之后，...
RocketMQ系列（二）双主双从集群搭建
雨剑的博客
04-18 874
文章目录一.配置文件1.1 配置文件说明1.2 服务环境准备1.3 配置文件修改二.集群启动2.1 启动nameserver集群2.2 启动borker集群三.rocketmq-console控制台3.1 下载rocketmq-externals3.2 启动rocketmq-console3.3 访问rocketmq-console 上一篇RocketMQ系列（一）下载安装介绍了单master模式，本文介绍双主双从的集群模式搭建。 一.配置文件 1.1 配置文件说明 安装包我们放在/data/applica
RocketMQ双主双从同步集群部署
小啊宇的博客
08-15 1742
RocketMQ双主双从同步集群部署
RocketMQ 4.5.1 双主双从异步复制环境搭建
weixin_34248258的博客
05-26 380
基础环境 操作系统：CentOS7 实例：192.168.63.129，192.168.63.130，192.168.63.131，192.168.63.132 Java：jdk-8u191-linux-x64.tar.gz 安装JDK 先把系统里面自带的卸载掉 [root@localhost soft]# rpm -qa|grep java python-javapa...
Rocketmq 配置双主双从
帅大叔的博客
10-18 3603
Rocketmq 配置双Master双Slave 这个配置基本流程和Rocketmq 配置双master 是一样的。 具体可参考：http://www.lrshuai.top/atc/show/48 只需要修改第三步骤的配置文件就可。 1、环境　4台电脑 192.168.12.132 主（broker-a）,开启nameserver 192.168.12.133 主（broker-b
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值