springboot+rabbitmq實現智能傢居實例詳解

引言

前一段有幸參與到一個智能傢居項目的開發,由於之前都沒有過這方面的開發經驗,所以對智能硬件的開發模式和技術棧都頗為好奇。

智能可燃氣體報警器

產品是一款可燃氣體報警器,如果傢中燃氣泄露濃度到達一定閾值,報警器檢測到並上傳氣體濃度值給後臺,後臺以電話、短信、微信等方式,提醒用戶傢中可能有氣體泄漏。

用戶還可能向報警器發一些關閉報警、調整音量的指令等。整體功能還是比較簡單的,大致的邏輯如下圖所示:

但當我真正的參與其中開發時,其實有一點小小的失望,因為在整個研發過程中,並沒用到什麼新的技術,還是常規的幾種中間件,隻不過換個用法而已。

技術選型用rabbitmq 來做核心的組件,主要考慮到運維成本低,組內成員使用的熟練度比較高。

下面和小夥伴分享一下如何用 springboot + rabbitmq 搭建物聯網(IOT)平臺,其實智能硬件也沒想象的那麼高不可攀!

很多小夥伴可能有點懵?rabbitmq 不是消息隊列嗎?怎麼又能做智能硬件瞭

其實rabbitmq有兩種協議,我們平時接觸的消息隊列是用的AMQP協議,而用在智能硬件中的是MQTT協議。

一、什麼是 MQTT協議?

MQTT 全稱(Message Queue Telemetry Transport):一種基於發佈/訂閱(publish/subscribe)模式的輕量級通訊協議,通過訂閱相應的主題來獲取消息,是物聯網(Internet of Thing)中的一個標準傳輸協議。

該協議將消息的發佈者(publisher)與訂閱者(subscriber)進行分離,因此可以在不可靠的網絡環境中,為遠程連接的設備提供可靠的消息服務,使用方式與傳統的MQ有點類似。

TCP協議位於傳輸層,MQTT 協議位於應用層,MQTT 協議構建於TCP/IP協議上,也就是說隻要支持TCP/IP協議棧的地方,都可以使用MQTT協議。

二、為什麼要用 MQTT協議?

MQTT協議為什麼在物聯網(IOT)中如此受偏愛?而不是其它協議,比如我們更為熟悉的 HTTP協議呢?

  • 首先HTTP協議它是一種同步協議,客戶端請求後需要等待服務器的響應。而在物聯網(IOT)環境中,設備會很受制於環境的影響,比如帶寬低、網絡延遲高、網絡通信不穩定等,顯然異步消息協議更為適合IOT應用程序。
  • HTTP是單向的,如果要獲取消息客戶端必須發起連接,而在物聯網(IOT)應用程序中,設備或傳感器往往都是客戶端,這意味著它們無法被動地接收來自網絡的命令。
  • 通常需要將一條命令或者消息,發送到網絡上的所有設備上。HTTP要實現這樣的功能不但很困難,而且成本極高。

三、MQTT協議介紹

前邊說過MQTT是一種輕量級的協議,它隻專註於發消息, 所以此協議的結構也非常簡單。

MQTT數據包

MQTT協議中,一個MQTT數據包由:固定頭(Fixed header)、 可變頭(Variable header)、 消息體(payload)三部分構成。

  • 固定頭(Fixed header),所有數據包中都有固定頭,包含數據包類型及數據包的分組標識。
  • 可變頭(Variable header),部分數據包類型中有可變頭。
  • 內容消息體(Payload),存在於部分數據包類,是客戶端收到的具體消息內容。

在這裡插入圖片描述

1、固定頭

固定頭部,使用兩個字節,共16位:

(4-7)位表示消息類型,使用4位二進制表示,可代表如下的16種消息類型,不過 0 和 15位置屬於保留待用,所以共14種消息事件類型。

DUP Flag(重試標識)

DUP Flag:保證消息可靠傳輸,消息是否已送達的標識。默認為0,隻占用一個字節,表示第一次發送,當值為1時,表示當前消息先前已經被傳送過。

QoS Level(消息質量等級)

QoS Level:消息的質量等級,後邊會詳細介紹

RETAIN(持久化)

  • 值為1:表示發送的消息需要一直持久保存,而且不受服務器重啟影響,不但要發送給當前的訂閱者,且以後新加入的客戶端訂閱瞭此Topic,訂閱者也會馬上得到推送。註意:新加入的訂閱者,隻會取出最新的一個RETAIN flag = 1的消息推送。
  • 值為0:僅為當前訂閱者推送此消息。

Remaining Length(剩餘長度)

在當前消息中剩餘的byte(字節)數,包含可變頭部和消息體payload。

2、可變頭

固定頭部僅定義瞭消息類型和一些標志位,一些消息的元數據需要放入可變頭部中。可變頭部內容字節長度 + 消息體payload = 剩餘長度。

可變頭部居於固定頭部和payload中間,包含瞭協議名稱,版本號,連接標志,用戶授權,心跳時間等內容。

可變頭存在於這些類型的消息:PUBLISH (QoS > 0)、PUBACK、PUBREC、PUBREL、PUBCOMP、SUBSCRIBE、SUBACK、UNSUBSCRIBE、UNSUBACK。

3、消息體payload

消息體payload隻存在於CONNECTPUBLISHSUBSCRIBESUBACKUNSUBSCRIBE這幾種類型的消息:

  • CONNECT:包含客戶端的ClientId、訂閱的TopicMessage以及用戶名密碼
  • PUBLISH:向對應主題發送消息。
  • SUBSCRIBE:要訂閱的主題以及QoS
  • SUBACK:服務器對於SUBSCRIBE所申請的主題及QoS進行確認和回復。
  • UNSUBSCRIBE:取消要訂閱的主題。

消息質量(QoS )

消息質量(Quality of Service),即消息的發送質量,發佈者(publisher)和訂閱者(subscriber)都可以指定qos等級,有QoS 0QoS 1QoS 2三個等級。

下邊分別說明一下這三個等級的區別。

1、Qos 0

Qos 0:At most once(至多一次)隻發送一次消息,不保證消息是否成功送達,沒有確認機制,消息可能會丟失或重復。

圖片源於網絡,如有侵權聯系刪除

2、Qos 1

Qos 1:At least once(至少一次),相對於QoS 0而言Qos 1增加瞭ack確認機制,發送者(publisher)推送消息到MQTT代理(broker)時,兩者自身都會先持久化消息,隻有當publisher 或者 Broker分別收到 PUBACK確認時,才會刪除自身持久化的消息,否則就會重發。

但有個問題,盡管我們可以通過確認來保證一定收到客戶端 或 服務器的message,可我們卻不能保證僅收到一次message,也就是當客戶端publisher沒收到Brokerpuback或者 Broker沒有收到subscriberpuback,那麼就會一直重發。

publisher -> broker 大致流程:

publisher store msg -> publish ->broker (傳遞message)

broker -> puback -> publisher delete msg (確認傳遞成功)

圖片源於網絡,如有侵權聯系刪除

3、Qos 2

Qos 2:Exactly once(隻有一次),相對於QoS 1QoS 2升級實現瞭僅接受一次messagepublisher 和 broker 同樣對消息進行持久化,其中 publisher 緩存瞭message和 對應的msgID,而 broker 緩存瞭 msgID,可以保證消息不重復,由於又增加瞭一個confirm 機制,整個流程變得復雜很多。

publisher -> broker 大致流程:

publisher store msg -> publish ->broker -> broker store

msgID(傳遞message) broker -> puberc (確認傳遞成功)

publisher -> pubrel ->broker delete msgID (告訴broker刪除msgID)

broker -> pubcomp -> publisher delete msg (告訴publisher刪除msg)

LWT(最後遺囑)

LWT 全稱為 Last Will and Testament,其實遺囑是一個由客戶端預先定義好的主題和對應消息,附加在CONNECT的數據包中,包括遺願主題遺願 QoS遺願消息等。

當MQTT代理 Broker 檢測到有客戶端client非正常斷開連接時,再由服務器主動發佈此消息,然後相關的訂閱者會收到消息。

舉個栗子:聊天室中所有人都訂閱一個叫talk的主題 ,但小富由於網絡抖動突然斷開瞭鏈接,這時聊天室中所有訂閱主題 talk的客戶端都會收到一個 “小富離開聊天室” 的遺願消息。

遺囑的相關參數:

Will Flag:是否使用 LWT,1 開啟

Will Topic:遺願主題名,不可使用通配符

Will Qos:發佈遺願消息時使用的 QoS

Will Retain:遺願消息的 Retain 標識

Will Message:遺願消息內容

那客戶端Client 有哪些場景是非正常斷開連接呢?

  • Broker 檢測到底層的 I/O 異常;
  • 客戶端 未能在心跳 Keep Alive 的間隔內和 Broker 進行消息交互;
  • 客戶端 在關閉底層 TCP 連接前沒有發送 DISCONNECT 數據包;
  • 客戶端 發送錯誤格式的數據包到 Broker,導致關閉和客戶端的連接等。

註意:當客戶端通過發佈 DISCONNECT 數據包斷開連接時,屬於正常斷開連接,並不會觸發 LWT 的機制,與此同時Broker 還會丟棄掉當前客戶端在連接時指定的相關 LWT 參數。

四、MQTT協議應用場景

MQTT協議廣泛應用於物聯網、移動互聯網、智能硬件、車聯網、電力能源等領域。使用的場景也是非常非常多,下邊列舉一些:

  • 物聯網M2M通信,物聯網大數據采集
  • Android消息推送,WEB消息推送
  • 移動即時消息,例如Facebook Messenger
  • 智能硬件、智能傢具、智能電器
  • 車聯網通信,電動車站樁采集
  • 智慧城市、遠程醫療、遠程教育
  • 電力、石油與能源等行業市場

五、代碼實現

具體 rabbitmq 的環境搭建就不贅述瞭,網上教程比較多,有條件的用服務器,沒條件的像我搞個Windows版的也很快樂嘛。

在這裡插入圖片描述

1、啟用 rabbitmq的mqtt協議

我們先開啟 rabbitmq 的 mqtt協議,因為默認安裝下是關閉的,命令如下:

rabbitmq-plugins enable rabbitmq_mqtt

2、mqtt 客戶端依賴包

上一步中安裝rabbitmq環境並開啟 mqtt協議後,實際上mqtt 消息代理服務就搭建好瞭,接下來要做的就是實現客戶端消息的推送和訂閱。

這裡使用spring-integration-mqttorg.eclipse.paho.client.mqttv3兩個工具包實現。

<!--mqtt依賴包-->
<dependency>
    <groupId>org.springframework.integration</groupId>
    <artifactId>spring-integration-mqtt</artifactId>
</dependency>
<dependency>
    <groupId>org.eclipse.paho</groupId>
       <artifactId>org.eclipse.paho.client.mqttv3</artifactId>
    <version>1.2.0</version>
</dependency>

3、消息發送者

消息的發送比較簡單,主要是應用到@ServiceActivator註解,需要註意messageHandler.setAsync屬性,如果設置成false,關閉異步模式發送消息時可能會阻塞。

@Configuration
public class IotMqttProducerConfig {

    @Autowired
    private MqttConfig mqttConfig;

    @Bean
    public MqttPahoClientFactory mqttClientFactory() {
        DefaultMqttPahoClientFactory factory = new DefaultMqttPahoClientFactory();
        factory.setServerURIs(mqttConfig.getServers());
        return factory;
    }

    @Bean
    public MessageChannel mqttOutboundChannel() {
        return new DirectChannel();
    }

    @Bean
    @ServiceActivator(inputChannel = "iotMqttInputChannel")
    public MessageHandler mqttOutbound() {
        MqttPahoMessageHandler messageHandler = new MqttPahoMessageHandler(mqttConfig.getServerClientId(), mqttClientFactory());
        messageHandler.setAsync(false);
        messageHandler.setDefaultTopic(mqttConfig.getDefaultTopic());
        return messageHandler;
    }
}

MQTT 對外提供發送消息的API時,需要使用@MessagingGateway 註解,去提供一個消息網關代理,參數defaultRequestChannel 指定發送消息綁定的channel

可以實現三種API接口,payload 為發送的消息,topic 發送消息的主題,qos 消息質量。

@MessagingGateway(defaultRequestChannel = "iotMqttInputChannel")
public interface IotMqttGateway {

    // 向默認的 topic 發送消息
    void sendMessage2Mqtt(String payload);
    // 向指定的 topic 發送消息
    void sendMessage2Mqtt(String payload,@Header(MqttHeaders.TOPIC) String topic);
    // 向指定的 topic 發送消息,並指定服務質量參數
    void sendMessage2Mqtt(@Header(MqttHeaders.TOPIC) String topic, @Header(MqttHeaders.QOS) int qos, String payload);
}

4、消息訂閱

消息訂閱和我們平時用的MQ消息監聽實現思路基本相似,@ServiceActivator註解表明當前方法用於處理MQTT消息,inputChannel 參數指定瞭用於接收消息的channel

/**
 * @Author: xiaofu
 * @Description: 消息訂閱配置
 * @date 2020/6/8 18:24
 */
@Configuration
public class IotMqttSubscriberConfig {

    @Autowired
    private MqttConfig mqttConfig;

    @Bean
    public MqttPahoClientFactory mqttClientFactory() {
        DefaultMqttPahoClientFactory factory = new DefaultMqttPahoClientFactory();
        factory.setServerURIs(mqttConfig.getServers());
        return factory;
    }

    @Bean
    public MessageChannel iotMqttInputChannel() {
        return new DirectChannel();
    }

    @Bean
    public MessageProducer inbound() {
        MqttPahoMessageDrivenChannelAdapter adapter = new MqttPahoMessageDrivenChannelAdapter(mqttConfig.getClientId(), mqttClientFactory(), mqttConfig.getDefaultTopic());
        adapter.setCompletionTimeout(5000);
        adapter.setConverter(new DefaultPahoMessageConverter());
        adapter.setQos(1);
        adapter.setOutputChannel(iotMqttInputChannel());
        return adapter;
    }

    /**
     * @author xiaofu
     * @description 消息訂閱
     * @date 2020/6/8 18:20
     */
    @Bean
    @ServiceActivator(inputChannel = "iotMqttInputChannel")
    public MessageHandler handlerTest() {

        return message -> {
            try {
                String string = message.getPayload().toString();
                System.out.println("接收到消息:" + string);
            } catch (MessagingException ex) {
                //logger.info(ex.getMessage());
            }
        };
    }
}

六、測試消息

額~ 由於本渣渣對硬件一竅不通,為瞭模擬硬件的發送消息,隻能借助一下工具,其實硬件端實現MQTT協議,跟我們前邊的基本沒什麼區別,隻不過換種語言嵌入到硬件中而已。

這裡選的測試工具為mqttbox,下載地址:http://workswithweb.com/mqttbox.html

1、測試消息發送

我們用先用mqttbox模擬向主題mqtt_test_topic發送消息,看後臺是否能成功接收到。

看到後臺成功拿到瞭向主題mqtt_test_topic發送的消息。

2、測試消息訂閱

mqttbox模擬訂閱主題mqtt_test_topic,在後臺向主題mqtt_test_topic發送一條消息,這裡我簡單的寫瞭個controller調用API發送消息。

http://127.0.0.1:8080/fun/testMqtt?topic=mqtt_test_topic&message=我是後臺向主題 mqtt_test_topic 發送的消息

我們看mqttbox的訂閱消息,已經成功的接收到瞭後臺的消息,到此我們的MQTT通信環境就算搭建成功瞭。如果把mqttbox工具換成具體硬件設備,整個流程就是我們常說的智能傢居瞭,其實真的沒那麼難。

七、應用註意事項

在我們實際的生產環境中遇到過的問題,這裡分享一下讓大傢少踩坑。

clientId 要唯一

在客戶端connect連接的時,會有一個clientId 參數,需要每個客戶端都保持唯一的。但我們在開發測試階段clientId直接在代碼中寫死瞭,而且服務都是單實例部署,並沒有暴露出什麼問題。

MqttPahoMessageDrivenChannelAdapter(mqttConfig.getClientId(), mqttClientFactory(), mqttConfig.getDefaultTopic());

然而在生產環境內側的時候,由於服務是多實例集群部署,結果出現瞭下邊的奇怪問題。同一時間內隻能有一個客戶端能拿到消息,其他客戶端不但不能消費消息,而且還在不斷的掉線重連:Lost connection: 已斷開連接; retrying...

這就是由於clientId相同導致客戶端間相互競爭消費,最後將clientId獲取方式換成從發號器中拿,問題就好瞭,所以這個地方是需要特別註意的。

平時程序在開發環境沒問題,可偏偏到瞭生產環境就一大堆問題,很多都是因為服務部署方式不同導致的。所以多學習分佈式還是很有必要的。

八、其他中間件

MQTT它隻是一種協議,支持MQTT協議的消息中間件產品非常多,下邊的也隻是其中的一部分

  • Mosquitto
  • Eclipse Paho
  • RabbitMQ
  • Apache ActiveMQ
  • HiveMQ
  • JoramMQ
  • ThingMQ
  • VerneMQ
  • Apache Apollo
  • emqttd Xively
  • IBM Websphere …..

總結

我也是第一次做和硬件相關的項目,之前聽到智能傢居都會覺得好高大上,但實際上手開發後發現,技術嘛萬變不離其宗,也隻是換種用法而已。

以上就是springboot+rabbitmq實現智能傢居實例詳解的詳細內容,更多關於springboot rabbitmq智能傢居的資料請關註WalkonNet其它相關文章!

推薦閱讀: