本文主要是介绍解决RocketMQ的幂等性问题，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
《解决RocketMQ的幂等性问题》重复消费因调用链路长、消息发送超时或消费者故障导致,通过生产者消息查询、Redis缓存及消费者唯一主键可以确保幂等性,避免重复处理,本文主要介绍了解决RocketM...
造成重复消费的原因
- 当系统的调用链路比较长的时候，比如系统A调用系统B，系统B再把消息发送到RocketMQ中，在系统A调用系统B的时候，如果系统B处理成功，但是迟迟没有将调用成功的结果返回给系统A的时候，系统A就会尝试重新发起请求给系统B，造成系统B重复处理，发起多条消息给RocketMQ造成重复消费；
- 在系统B发送给RocketMAtUPNjswgQ的时候，也有可能会发生和上面一样的问题，消息发送超时，结果系统B重试，导致RocketMQ接收到了重读消息；
- 当RocketMQ成功接收到消息，并将消息交给消费者处理，如果消费者消费完成后还没来得及提交CONSUME_SUCCESS给RocketMQ，自己宕机或者重启了，那么RocketMQ没有接收到CONSUME_SUCCESS，就会认为消费失败了，会重发消息给消费者再次消费；
通过幂等性来保证，只要保证重复消息不对结果产生影响，就完美地解决这个问题。
解决方法
生产者端
- RocketMQ支持消息查询的功能，只要去RocketMQ查询一下是否已经发送过该条消息就可以了，不存在则发送，存在则不发送，也就是message.setKeys()；
- 引入Redis，在发送消息到RocketMQ成功之后，向Redis中插入一条数据，如果发送重试，则先去Redis查询一个该条消息是否已经发送过了，存在的话就不重复发送消息了；
缺点
方法一：RocketMQ消息查询的性能不是特别好，如果在高并发的场景下，每条消息在发送到RocketMQ时都去查询一下，可能会影响接口的性能；
方法二：在一些极端的场景下，Redis也无法保证消息发送成功之后，就一定能写入Redis成功，比如写入消息成功而Redis此时宕机，那么再次查询Redis判断消息是否已经发送过，是无法得到正确结果的；
消费者端
- 建立一个消息表，拿到这个消息做数据库的insert操作。给这个消息做一个唯一主键（primary key）或者唯一约束，那么就算出现重复消费的情况，就会导致主键冲突。
- 拿到这个消息做redis的set的操作.redis就是天然幂等性
代码实现
方式一：
生产者
public class MQProducer {
public static void main(String[] args) throws MQClientException {
//创建生产者
DefaultMQProducer producer=new DefaultMQProducer("rmq-group");
//设置NameServer地址
producer.setNamesrvAddr("192.168.138.187:9876;192.168.138.188:9876");
//设置生产者实例名称
producer.setInstancjavascripteName("producer");
//启动生产者
producer.start();
try {
//发送消息
for (int i=0;i<1;i++){
Thread.sleep(1000); //每秒发送一次
//创建消息
Message msg = new Message("wn04", // topic 主题名称
"TagA", // tag 临时值
("w-"+i).getBytes()// body 内容
);
//消息的唯一標識
msg.setKeys(System.currentTimeMillis() + "");
//发送消息
SendResult sendResult=producer.send(msg);
System.out.println(sendResult.toString());
}
} catch (Exception e) {
e.printStackTrace();
}
producer.shutdown();
}
}
消费者端：
public class MQConsumer {
//保存标识的集合
static private Map<String, String> logMap = new HashMap<>();
public static void main(String[] args) throws MQClientException {
//创建消费者
DefaultMQPushConsumer consumer=new DefaultMQPushConsumer("rmq-group");
//设置NameServer地址
consumer.setNamesrvAddr("192.168.138.187:9876;192.168.138.188:9876");
//设置消费者实例名称
consumer.setInstanceName("consumer");
//订阅topic
consumer.subscribe("wn04","TagA");
//监听消息
consumer.registerMessageListener(new MessageListenerConcurrently() {
@Override
public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {
String key = null;
String msgId = null;
try {
for (Meshttp://www.chinasem.cnsageExt msg : lisjavascriptt) {
key = msg.getKeys();
//判断集合当中有没有存在key,存在就不需要重试,不存在先存key再回来重试后消费消息
if (logMap.containsKey(key)) {
// 无需继续重试。
System.out.println("key:"+key+",无需重试...");
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
http://www.chinasem.cn }
msgId = msg.getMsgId();
System.out.println("key:" + key + ",msgid:" + msgId + "---" + new String(msg.getBody()));
//模拟异常
int i = 1 / 0;
}
} catch (Exception e) {
//e.printStackTrace();
//重试
return ConsumeConcurrentlyStatus.RECONSUME_LATER;
} finally {
//保存key
logMap.put(key, msgId);
}
return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
}
});
consumer.start();
System.out.println("Consumer Started...");
}
}
到此这篇关于解决RocketMQ的幂等性问题的文章就介绍到这了,更多相关RocketMQ 幂等性内容请搜索China编程(www.chinasem.cn)以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程China编程(www.chinasem.cn)！
这篇关于解决RocketMQ的幂等性问题的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
