消息队列的流派

本文主要是介绍消息队列的流派，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

什么是MQ

Message Queue(MQ), 消息队列中间件, 很多人都说: MQ通过将消息的发送和接收分离来实现应用程序的异步和解耦, 这个给人的直觉是—MQ是异步的, 用来解耦的, 但是这个只是MQ的效果而不是目的, MQ真正的目的是为了通信, 屏蔽底层复杂的通讯协议, 定义了一套应用层的, 更加简单的通讯协议。一个分布式系统中两个模块之间通讯要么是HTTP, 要么是自己开发的TCP, 但是这两种协议其实都是原始的协议。HTTP协议很难实现两端通讯—模块A可以调用B, B也可以主动调用A, 如果要做到这个两端都要背上WebServer, 而且还不支持长连接。TCP就更加原始了, 粘包, 心跳, 私有的协议, 想一想头皮就发麻。MQ所要做的就是在这些协议之上构建一个简单的协议-生产者/消费者模型。MQ带给我的协议不是具体的通信协议, 而是更高层次通讯模型。它定义了两个对象—发送数据的叫生产者; 接收数据的叫消费者, 提供一个SDK让我们可以定义自己的生产者和消费者实现消息通讯而无视底层通讯协议

有Broker的MQ

这个流派通常有一台服务器作为Broker, 所有的消息都通过它中转。生产者把消息发送给它就结束自己的任务了, Broker则把消息主动推送给消费者(或者消费者主动轮询)

为什么需要消息队列(MQ)?

主要原因是由于在高并发环境下, Db永远是短板, 由于来不及同步处理, 请求往往会发生阻塞, 比如说, 大量的insert, update之类的请求同时到达MySQL, 直接导致无数的行锁表锁, 甚至最后请求线程会推积过多, 从而触发too many connections错误。一波一波雪崩效应。通过使用消息队列, 我们可以异步处理请求, 从而缓解系统的压力。说了这么多其实最核心的是: 解耦, 异步, 削峰

解耦

系统A有B, C, D三个系统对接, 此时D系统需要取消和A系统的对接, 同时一个新的E系统需要和A系统进行对接. 如果没有消息队列, A系统将需要修改代码将调用D系统的代码删除, 同时修改代码以调用E系统的接口。此时BCDE系统和A系统高度耦合

如果引入消息队列后

A系统只需要将关键数据发布到MQ, 之后如果D系统不需要和A系统对接, 仅仅只需要取消A系统的订阅, 新增的E系统只需要订阅A系统的消息即可, A系统自身并不需要进行修改。

消息队列的流派

重Topic

kafka, JMS(ActiveMQ)就属于这个流派, 生产者会发送key和数据到Broker, 由Broker比较key之后决定给哪个消费者. 这种模式就是我们最常用的模式, 是我们对MQ最多的印象。在这种模式下一个topic往往是一个比较大的概念, 甚至一个系统中就可能只有一个topic, topic某种意义上就是queue, 生产者发送key相当于说: hi, 把数据放到key的队列中

如上图所示, Broker定义了三个队列, key1, key2, key3, 生产者发送数据的时候会发送key1和data, Broker在推送数据的时候则推送data(也可能把key带上).

虽然架构一样但是kafka的性能要比jms的性能不知道高到多少倍, 所以基本这种类型的MQ只有kafka一种备选方案。如果你需要一条暴力的数据流(在乎性能而非灵活性)那么kafka是最好的选择