RabbitMQ消息丢失、积压、重复等解决方案

createh55个月前 (02-01)技术教程39

消息丢失#

1、只要订单完成我们就会发送一条消息给MQ,这个途中突然MQ服务器网络中断,导致消息无法抵达

做好容错方法需要在消息发送前加上异常处理

 try {
  rabbitTemplate.convertAndSend("order-event-exchange", "order.release.other", orderTo);
    } 
catch (Exception e) {
   //将没法送成功的消息进行重试发送
    }

还可以将消息存入数据库,把失败的消息定期重新再发一遍

2、当消息发送给MQ,通过Brock通过交换机抵达队列,MQ关机了,只有抵达队列才能实现消息持久化

这时候需要使用生产者的确认机制

只要消息收到了会自动持久化,如果进入另一个回调方法说明报错了,需要修改数据库使消息重发

3、自动ACK的状态下。消费者收到消息,但没来得及消息然后宕机

一定开启手动ACK,消费成功才移除,失败或者没来得及处理就noAck并重新入队

消息重复#

1、消息消费成功,事务已经提交,ack时,机器宕机。导致没有ack成功,Broker的消息重新由unack变为ready,并发送给其他消费者

在ack的时候宕机,导致消息没有确认,又需要重新发送

2、消息消费失败,由于重试机制,自动又将消息发送出去

关闭订单的时候,没有成功,又重新进入队列再次执行,这种是可以允许的

解决办法:

  • 消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标志
  • 使用防重表(redis/mysql),发送消息每一个都有业务的唯一标识,处理过就不用处理
  • rabbitMQ的每一个消息都有redelivered字段,可以获取是否是被重新投递过来的,而不是第一次投递过来的

判断当前消息是否是第二次及以后被派发过来的

消息积压#

  • 消费者宕机积压
  • 消费者消费能力不足积压
  • 发送者发送流量太大上线更多的消费者,进行正常消费上线专门的队列消费服务,将消息先批量取出来,记录数据库,离线慢慢处理

这也是实现了柔性事务-可靠消息+最终一致性解决方案

做好消息确认机制(生产者、消费者)+手动确认机制

相关文章

微服务架构模式:让自己对BFF层有个了解——服务于前端的后端

BFF用于前端的后端◎ 回顾前后端分离发展史◎ BFF诞生◎ 基于RESTful的BFF◎ 基于GraphQL的BFF随着前端技术的大爆发,面对逐渐复杂化的前端工程体系,越来越多的企业开始采用前后端分...

图文并茂,带你梳理一下 OAuth2.0 概念和授权流程

阅读目录OAuth2 的概念OAuth2授权模式授权码模式(Authorization Code Grant)隐式授权模式(Implicit Grant)密码模式(Resource Owner Pas...

java本地搭建宝塔部署实战likeadmin后台系统源码server端(一)

大家好啊,我是测评君,欢迎来到web测评。上次分享了那几期likeadmin的搭建视频教程,由于是php开发的,这对有些习惯用java开发的同学不太友好,好在这套系统也有java版本的,也有朋友让我录...

前后端分离的开源在线考试系统调试实战

开篇在我们的教育生涯中,或多或少的都接触过在线考试系统。例如大学里最常见的各种软件考试,上机考试等,那么有没有开源的这样的系统呢?当然是有了,今天就来调试个开源的在线考试系统。本文重点是调试,因为很多...

面试官:如何关闭一个 TCP 连接?(关闭tcp6)

今天聊一个比较轻松的问题:如何关闭一个 TCP 连接?可能大家第一反应是「杀掉进程」不就行了吗?是的,这个是最粗暴的方式,杀掉客户端进程和服务端进程影响的范围会有所不同:在客户端杀掉进程的话,就会发送...

演绎与探索-从0到1,IDE如何提升端侧研发效率?

背景随着应用DinamicX(简称DX,下同)技术的场景和团队愈加复杂与广泛,持续保障DX核心竞争力,支持团队级别协同开发,助力复杂业务场景的诉求愈发强烈。之前的DX开发基于模板平台,其核心为基于开源...