消息队列(MQ)-基础知识

大约 6 分钟

MQ基础知识、概念整理

一、使用场景

MQ缺点:

RabbitMQ
1. 优点
  1. 开箱即用(轻量级)
  2. Exchange模块(交换机)，支持路由配置
  3. 客户端支持最多的编程语言
  4. 支持AMQP协议
2. 缺点
  1. 对消息积压支持不好，大量消息积压时性能急剧下降
  2. 性能最差(几万～十几万/秒)
  3. 开发语言Erlang学习曲线陡峭
RocketMQ
1. 优点：
  1. 性能(几十万/秒)、稳定性和可靠性都不错
  2. 响应时延低(低延迟)
  3. 金融级稳定性
  4. 适合 在线业务
2. 缺点：
  1. 周边生态系统相对较差
Kafka
1. 优点：
  1. 周边生态系统兼容性最好！
  2. 异步收发性能最好(吞吐量高)！
  3. 适合日志、监控、大数据、流计算
2. 缺点：
  1. 同步响应时延较高(攒一波再发送/处理)
  2. 不太适合在线业务

任何一条消息只能被其中的一个消费者收到
队列模型

与队列模型最大区别：一份消息数据能不能被消费多次的问题
发布-订阅模型

使用 队列模型，通过 Exchange模块 实现发布-订阅模型功能。

See Detail

使用队列模型，通过 Exchange模块实现 “发布-订阅模型” 中 “一份数据可被多个订阅者消费的的功能”。

Exchange模块决定将消息投递到哪个队列中，若同一份消息有多个消费者，则Exchange模块会将消息发送至多个队列。

使用 发布-订阅模型

每个 主题(Topic) 包含多个队列(Queue)/分区(Partition)，通过多个队列来实现多实例并行生产和消费。

消息有序性：只能保证 队列层面 的消息有序性，主题层面无法保证消息严格有序。

消息可靠性：“请求-确认”机制。

生产和消费过程中，分别有1次请求-确认机制。

生产者(Producer): 发布者(Publisher)
消费组(Consumer Group): 订阅者(Subscriber)
1. 每个 消费组(Consumer Group) 都消费 主题(Topic) 中一份完整的消息(所有队列的全部消息)，不同消费组之间消费进度不受影响
2. 一个消费组中包含多个 消费者(Consumer)实例，同一组内的消费者是竞争消费关系
3. 同一消费组在每个队列上只能串行消费，多个队列加在一起就是并行消费，并行度就是队列数量
4. 某个队列在同一消费组中最多只能由一个消费者实例占用
5. 接4，分区 → 消费者: 1 : 1，消费者 → 分区: 1 : N
6. Consumer Group 对应 Topic，Consumer对应Queue
消费者(Consumer): 消费组下的消费实例
消费位置(Consumer Offset): 记录消费组在当前队列的消费位置
1. 每个消费组在每个队列上维护一个消费位置(注: 消费位置和消费者无关)
2. 消费位置一般保存在Broker中(RocketMQ/Kafka)
主题(Topic): 服务端存放消息的容器
队列(Queue)/分区(Partition): 一个主题包含多个队列/分区，通过队列/分区实现多实例并行生产和消费
服务端(Broker): 存储队列的服务器