RocketMQ 概念

RocketMQ介绍

简介

RocketMQ是一款分布式、队列模型的消息中间件。

特点

• 单机吞吐量：十万级
• 可用性：非常高分布式架构
• 支持10亿级别的消息堆积，不会因为堆积导致性能下降
• 能够保证严格的消息顺序
• 提供丰富的消息拉取模式
• 实时的消息订阅机制
• 支持上万个队列
• 消息失败重试机制

关键概念

主题与标签

• 主题Top： 第一级消息类型，书的标题
• 标签Tags：第二级消息类型，书的目录，可以基于Tag做消息过滤

ps：

• 主题Top： 订单交易

• 标签Tags：订单交易-创建 订单交易-付款 订单交易-完成

消息队列Queue

• Queue：一个Topic可以设置多个消息队列，发送消息时执行该消息的Topic，RocketMQ会轮询该Topic下的所有队列将消息发出去

Offset

• Message Queue是一个长度无线的数组，Offset就是下标

发送与订阅组group

• 生产组：用于消息的发送
• 消费组：用于消息的订阅处理

消息消费模式

• 集群消费Clustering：一个消费者集群共同消费一个主题的多个队列

• 广播消费Broadcasting：会发给消费者组中每一个消费者进行消费

Message Order

• 顺序消费Orderly：指的是消息的消费顺序和生产顺序相同

• 全局顺序：在某个topic下，所有的消息都要保证顺序

• 局部顺序：只要保证每一组消息被顺序被顺序消费即可

• 并行消费Concurrently：不在保证消息顺序

架构组成

网络部署图

NameServer：

• 是一个功能齐全的服务器，类似Zookeeper，每个Broker会在NameServer注册，Producer会在发送消息根据Topic到NameServer获取Broker路由信息，Consumer也会定时获取Topic的路由信息

• 主要是维持心跳和提供Topic-Broker的关系数据

• Broker向NameServer发心跳时,会带上当前所负责的Topic信息

Broker：

• 负责消息存储，转发消息。具有上亿级消息堆积能力，严格保证消息的有序性

Producer与NameServer集群中的其中一个节点随机选择建立长连接，定期从NameServer取Topic路由信息，并向提供的Topic服务Master建立长连接，且定时向Master发送心跳。

Consumer与NameServer集群中的其中一个节点随机选择建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳，Consumer既可以从Master订阅消息，也可以从slave订阅消息，订阅规则由Broker配置决定

逻辑部署结构

Producer Group

• 用来表示一个发送消息应用，一个Producer group 下包含多个Producer

• 标识一类Producer

• 可以通过运维工具查询这个发送消息应用下有多个 Producer 实例

• 发送分布式事务消息时，如果 Producer 中途意外宕机，Broker 会主动回调 Producer Group 内的任意一台机器来确认事务状态

Consumer Group

• 用来表示一个消费消息应用，一个 Consumer Group 下包含多个 Consumer 实例

• 一个 Consumer Group 下的多个 Consumer 以均摊方式消费消息，如果设置为广播方式，那么这个 Consumer Group 下的每个实例都消费全量数据

鸣谢

• RocketMQ 开发指南
• 公众号-三太子敖丙