redis cluster支持pipeline的實現思路

Posted on by

什麼是pipeLine 為什麼使用pipeLine ?

管道（pipeline）將客戶端 client 與服務器端的交互明確劃分為單向的發送請求（Send Request）和接收響應（Receive Response）：用戶可以將多個操作連續發給服務器，但在此期間服務器端並不對每個操作命令發送響應數據；全部請求發送完畢後用戶關閉請求，開始接收響應獲取每個操作命令的響應結果。

管道（pipeline）在某些場景下非常有用，比如有多個操作命令需要被迅速提交至服務器端，但用戶並不依賴每個操作返回的響應結果，對結果響應也無需立即獲得，那麼管道就可以用來作為優化性能的批處理工具。性能提升的原因主要是減少瞭 TCP 連接中交互往返的開銷。

不過在程序中使用管道請註意，使用 pipeline 時客戶端將獨占與服務器端的連接，此期間將不能進行其他“非管道”類型操作，直至 pipeline 被關閉；如果要同時執行其他操作，可以為 pipeline 操作單獨建立一個連接，將其與常規操作分離開來。

當我們要操作一批key時，可以通過 redis pipline 再執行完後一次性讀取所有結果來較少網絡傳輸的消耗； 很明顯，這有個限制條件 => 這批key的執行必須在同一個連接上

當部署的redis為 standalone 或 master-slave 結構的時候還好，可以從 pool 取出來的連接都是一個 master 節點的， 那要是 redis cluster 的時候怎麼辦？ 這批key 可能在同一個 redis node 也可能分散在多個 redis nodes 這樣就是多個連接瞭

redis cluster 雖然自動對 key 進行瞭分片，但是它對 client 的要求比較高，需要客戶端連接所有 cluster 內的節點（這個和 db client方案類似）並緩存 slots分配信息，然後在客戶端采用同樣的算法進行hash後定位 key 的 slot 進而定位 slot 所屬的 redis 節點，然後獲取對應節點的連接發送命令

cluster pipeline 實現思路

java 常用的客戶端 jedis，雖然提供瞭 redis-cluster 功能，但是並沒有提供 cluster 下的 pipeline 能力，我們借助它封裝好的 JedisClusterCRC16 工具去計算 slot 定位對應 redis node 的連接，按照 redis node 將這批 key 進行分組 ，那麼每組 key 就能分別進行 pipeline 邏輯瞭

偽代碼

static List<Integer, HostAndPort> slot2NodeMap; // 可以通過主動調用Jedis.clusterNodes獲取slot映射關系，並緩存在本地

List<Object> clusterPipeline(List keys) {
	 Map<HostAndPort, List<String>> node2Keys= new HashMap<>();  // 節點對應keys分組
	for(String key : keys) {
	   // 計算key對應的slot
	   int slot = JedisClusterCRC16.getSlot(key); 
	   // 根據slot獲取對應的節點信息，將同一節點的key收在一組
	  node2Keys.get(slot2NodeMap.get(slot)).add(key);
	}

    List<Object> results = new ArrayList();
	// 分組執行
	for (Map.Entry<HostAndPort, List<String>> group : node2Keys) {
		Jedis jedis =  JedisClusterConnectionHandler.getConnectionFromNode(group.key);
		PipeLine pipeline = jedis.pipelined();
		// 執行本組keys 
		 result.addAll(jedis.syncAndReturnAll());
	}
   return results;
}

註意：在 cluster 上執行 pipeline 可能會由於 redis 節點擴縮容 中途 redirection 切換連接導致結果丟失； 可以把 attempts 重試次數設為0 不允許自動切換連接 以感知到異常，然後業務主動進行重試

jedis 官方支持？

github 上其實2017年就有人提交瞭 cluster pipeline 的pr，維護人員也很樂意 merge 但是~~ 後續跟進比較慢，然後19年 merge review的時候有些異常，提交人也沒再跟進，導致一直沒有合並成功；
https://github.com/redis/jedis/pull/1455


實現 cluster pipeline 也可以參考這個pr 的提交代碼

以上就是redis cluster支持pipeline的實現思路的詳細內容，更多關於redis cluster支持pipeline的資料請關註WalkonNet其它相關文章！

推薦閱讀：