springboot+rabbitmq實現指定消費者才能消費的方法
如何保證mq隊列裡的消息隻被測試服務器上的consumer消費,避免本地環境誤消費?
程序裡有一個應用場景使用到瞭rabbitmq——當財務確認收到企業的打款金額後,系統會把企業訂單生成用戶付款單。由於訂單記錄數據量大,改為通過mq來異步實現。即財務確認收款操作後,將企業訂單數據放入mq,另一端監聽mq消息隊列,將收到的企業訂單加工轉換成用戶付款單,並做持久化。
本地開發環境與測試環境共用一套rabbitmq。當項目部署到測試環境後,QA測試過程中,總是“莫名其妙”的發現所保存的用戶付款單數據有問題。
當然,首先要排查程序,檢查Consumer的數據處理的邏輯是否有bug。單元測試後,發現並不存在測試環境的bug。
原來,消息隊列被“非正常”消費瞭!
Q: 什麼情況?
A: 幾個夥伴一起參與的項目,大傢總是要調試自己的程序的。而如果碰巧本地程序監聽到消息隊列裡有消息,那麼,消息就被本地程序消費掉瞭。問題正是出現在這裡!————團隊開發,大傢並不會及時檢出git上最新的程序版本。如果本地的程序版本不是最新的正確的版本,勢必會出現bug。
那麼,怎麼辦?
每次你改瞭邏輯,告訴大傢獲取最新?
不現實,約定的東西往往不奏效的。
如何保證mq隊列裡的消息隻被測試服務器上的consumer消費,避免本地環境誤消費? 或者說,如何實現消息的定向消費呢?
隻要肯琢磨,辦法總比困難多!百思可得解!
我們知道,rabbitmq手動ack模式。這還不夠,因為我們怎麼讓consumer來決定是否消費呢? 所以,我們需要一個標識————producer設定一個標識,consumer如果匹配這個標識,則消費,否則予以reject放回消息隊列。
通過查看spring-rabbit/spring-amqp的代碼,發現可以在spring-amqp裡的MessageProperties上做文章。生產者與消費者每次消息傳輸都會攜帶一個MessageProperties,通常我們是不指定的,走MessageProperties的默認設置值。
我的策略:MessageProperties有一個屬性叫AppId。我們程序所部署的測試機器就一臺,即消息Producer和消息Consumer在一臺機器上。那麼,我就可以利用機器的IP來識別消息。隻有Producer與Consumer的IP匹配,才消費消息。程序員本機IP與測試服務器IP不一樣,就會拒絕接收消息,會把消息重新放回消息隊列,等待測試服務器的Consumer消費。
話不多說,上代碼吧,
生產者代碼:
package com.sboot.mq; import org.junit.Test; import org.springframework.amqp.core.Message; import org.springframework.amqp.core.MessageProperties; import org.springframework.amqp.rabbit.core.RabbitTemplate; import org.springframework.amqp.support.converter.MessageConverter; import org.springframework.amqp.support.converter.SimpleMessageConverter; import org.springframework.beans.factory.annotation.Autowired; import java.net.InetAddress; import java.util.UUID; public class MQProducerTest extends BaseTest { @Autowired RabbitTemplate rabbitTemplate; @Test public void test() throws Exception { for (int i = 1; i <= 5; i++) { MessageProperties messageProperties = new MessageProperties(); String ip = InetAddress.getLocalHost().getHostAddress(); messageProperties.setAppId(ip); // messageProperties.setUserId(String.valueOf(i)); MessageConverter messageConverter = new SimpleMessageConverter(); String msg = UUID.randomUUID().toString(); // System.out.println(msg); Message message1 = messageConverter.toMessage(msg, messageProperties); rabbitTemplate.send(MessageQueueConstant.USER_SETTLEMENT_EXCHANGE, "UserSettlementRouting", message1); System.out.println("入隊完成"); Thread.sleep(500L); } } }
消費者手動ACK,要實現ChannelAwareMessageListener接口,感知rabbitmq.client.Channel實例,調用channel的basicAck、basicReject等方法:
package com.sboot.mq; import com.rabbitmq.client.Channel; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.core.Message; import org.springframework.amqp.rabbit.annotation.RabbitHandler; import org.springframework.amqp.rabbit.annotation.RabbitListener; import org.springframework.amqp.rabbit.listener.api.ChannelAwareMessageListener; import org.springframework.amqp.support.converter.MessageConverter; import org.springframework.amqp.support.converter.SimpleMessageConverter; import org.springframework.context.annotation.Profile; import org.springframework.stereotype.Component; import java.net.InetAddress; @Component @Profile(value = "dev") @Slf4j public class UserSettlementDevConsumer implements ChannelAwareMessageListener { @RabbitHandler @RabbitListener(queues = MessageQueueConstant.USER_SETTLEMENT_QUEUE, ackMode = "MANUAL") @Override public void onMessage(Message message, Channel channel) throws Exception { Thread.currentThread().setName(UserSettlementDevConsumer.class.getSimpleName() + System.currentTimeMillis()); long tag = message.getMessageProperties().getDeliveryTag(); String appId = message.getMessageProperties().getAppId(); log.info("{}-{}, 消息出隊", tag, appId); String receiveMsg = ""; try { //核對標識,決定是否消費消息 String ip = InetAddress.getLocalHost().getHostAddress(); if (!ip.equals(appId)) { log.info("這不是我需要的消息。放回隊列。{}", receiveMsg); // channel.basicNack(tag, false, true); channel.basicReject(tag, true); // channel.basicRecover(true); return; } MessageConverter messageConverter = new SimpleMessageConverter(); receiveMsg = String.valueOf(messageConverter.fromMessage(message)); 。。。。在這裡消費消息 log.info("success " + receiveMsg); channel.basicAck(tag, false); } catch (Exception e) { log.error("receive message has an error, ", e); channel.basicNack(tag, false, true); } } }
說明一下依賴的spring-rabbit包的版本,我的是2.2.0.RELEASE。如果是2.1.4版本裡,@RabbitListener註解沒有ackMode。
解決本案問題過程中的花絮:
spring-rabbit-2.1.4.RELEASEspring-rabbit-2.2.0.RELEASE
@RabbitListener的ackMode的值見枚舉org.springframework.amqp.core.AcknowledgeMode
NONE– no acks(自動消費 autoAck)MANUAL –Manual acks – user must ack/nack via a channel aware listener.(手動消費,Consumer端必須顯式調用ack或nack)AUTO —
設置瞭手動消費,上文消費端的deliveryTag會是不同的long值。自動消費的deliveryTag是重復的1和2這樣的。並且,自動消費時,如果要使用channel的ack/nack,會報異常:
2020-06-19 22:26:54.586 [AMQP Connection 192.168.40.20:5672] ERROR o.s.a.rabbit.connection.CachingConnectionFactory:1468 – Channel shutdown: channel error; protocol method: #method<channel.close>(reply-code=406, reply-text=PRECONDITION_FAILED – unknown delivery tag 1, class-id=60, method-id=80)
2020-06-19 22:26:54.599 [SimpleAsyncTaskExecutor-1] ERROR c.e.z.r.p.modules.mq.UserSettlementAckConsumer:49 –
org.springframework.amqp.AmqpException: PublisherCallbackChannel is closed
at org.springframework.amqp.rabbit.connection.CachingConnectionFactory$CachedChannelInvocationHandler.invoke(CachingConnectionFactory.java:1092)
到此這篇關於springboot+rabbitmq實現指定消費者才能消費的文章就介紹到這瞭,更多相關springboot rabbitmq消費內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- 詳解SpringBoot中使用RabbitMQ的RPC功能
- springboot-rabbitmq-reply 消息直接回復模式詳情
- RabbitMQ 3.9.7 鏡像模式集群與Springboot 2.5.5 整合
- SpringBoot整合RabbitMQ實戰教程附死信交換機
- springBoot整合rabbitmq測試常用模型小結