Redis Cluster 字段模糊匹配及刪除

Posted on by

Questions

在數據庫內我們可以通過like關鍵字、％、*或者REGEX關鍵字進行模糊匹配。而在Redis內我們如何進行模糊匹配呢？集群情況Redis Cluster的情況是否和單機一致呢？前段時間我對於這個議題進行瞭調查和研究。

單節點的情況

Jedis
參考stackoverflow上的解答，在Java內使用Jedis主要有如下2中寫法: 

### 方法1
Set<String> keys = jedis.keys(pattern);
for (String key : keys) {
    jedis.del(key);
} 

### 方法2
Jedis jedis = new Jedis("127.0.0.1");
ScanParams scanParams = new ScanParams();
scanParams.match("prifix*");
scanParams.count(1000);
ScanResult<String> result = jedis.scan(0,scanParams);
result.getResult().forEach(key -> {
    jedis.del(key);
});

### 註意scan方法由於某些bug在2.9版本內scan(int,ScanParams)改為瞭scan(String,ScanParams)。由於cursor的位數，方法有些調整。

方法1，通過keys命令先尋找到所有符合的key，然後把它們刪除；
方法2，通過scan命令掃描所有符合的key，然後把它們刪除。
註意: Redis飾單線程模式，全局掃描的話有可能會導致Redis在一段時間內的卡頓情況發生。

Redis-cli

redis-cli keys 1.cn*|xargs redis-cli del

Redis Cluster情況

在Redis Cluster情況與單節點多情況完全不太一樣。

  • 首先，Redis Cluster是將整個Redis 的hash槽分佈在三臺機器上，要想一下全部掃描出來，顯然是不太現實的。
  • Redis內提供Hash-Tag，將相類似的鍵放在一臺機器上。可以通過Hash-Tag進行掃描，可以剪短時間消耗。
  • 最後需要考慮，主從集群節點的情況。

Hash-Tag

Hash-Tag 是用一個花括號將主要的Hash判斷部分擴起來，例如{hello1}key1、｛hello1｝key2。一般Hash-tag一致的情況，鍵會存儲在集群的同一臺機器上。在Jedis 2.9版本提供瞭這樣的掃描方法。
(PS . rediscluster是沒有keys方法的)

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
        try{
            jedisCluster.getClusterNodes();

            ScanParams scanParams = new ScanParams();
//          scanParams.match("{123}keys*");

//          scanParams.count(1000);
            ScanResult<String> result = jedisCluster.scan("0", scanParams);
            result.getResult().forEach(key -> {
                jedisCluster.del(key);
            });
//          jedisCluster.del(wrapperKey(redisKeyStartWith)+".*");
            log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith);
        }finally{
        }
    }

土辦法 分別掃描各個hash槽 

public static void deleteRedisKeyStartWith(String redisKeyStartWith) {
        try {
            Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();

            for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {
                Jedis jedis = entry.getValue().getResource();
                // 判斷非從節點(因為若主從復制，從節點會跟隨主節點的變化而變化)
                if (!jedis.info("replication").contains("role:slave")) {
                    Set<String> keys = jedis.keys(redisKeyStartWith + "*");
                    if (keys.size() > 0) {
                        Map<Integer, List<String>> map = new HashMap<>();
                        for (String key : keys) {
                            // cluster模式執行多key操作的時候，這些key必須在同一個slot上，不然會報:JedisDataException:
                            // CROSSSLOT Keys in request don't hash to the same slot
                            int slot = JedisClusterCRC16.getSlot(key);
                            // 按slot將key分組，相同slot的key一起提交
                            if (map.containsKey(slot)) {
                                map.get(slot).add(key);
                            } else {
                                map.put(slot, Lists.newArrayList(key));
                            }
                        }
                        for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {
                            jedis.del(integerListEntry.getValue().toArray(new String[integerListEntry.getValue().size()]));
                        }
                    }
                }
            }
            log.info("success deleted redisKeyStartWith:{}", redisKeyStartWith);
        } finally {
        }
    }

### 未使用slot批次提交(有可能效率略差於前者)
//獲取jedis連接

         private JedisCluster jedisCluster=JedisClusterUtil.getJedisCluster();

         //@param pattern  獲取key的前綴  全是是 * 

 public static TreeSet<String> keys(String pattern){  


       TreeSet<String> keys = new TreeSet<>();  
        //獲取所有的節點

               Map<String, JedisPool> clusterNodes = jedisCluster.getClusterNodes();  
       //遍歷節點 獲取所有符合條件的KEY 

               for(String k : clusterNodes.keySet()){  
           logger.debug("Getting keys from: {}", k);  
           JedisPool jp = clusterNodes.get(k);  
           Jedis connection = jp.getResource();  
           try {  
               keys.addAll(connection.keys(pattern));  
           } catch(Exception e){  
               logger.error("Getting keys error: {}", e);  
           } finally{  
               logger.debug("Connection closed.");  
               connection.close();//用完一定要close這個鏈接！！！  
           }  
       }  
       logger.debug("Keys gotten!");  
       return keys;  
  }  

          //main方法

 public static void main(String[] args ){
 TreeSet<String> keys=keys("*");

 //遍歷key  進行刪除  可以用多線程

 for(String key:keys){

                          jedisCluster.del(key);
 System.out.println(key);
 }
 }

Reference

[1]. (碼經)如何通過正則匹配刪除Redis裡的鍵
[2]. (Stackoverflow)Redis/Jedis – Delete by pattern?
[3]. (JavaDoc)Class JedisCluster
[4]. (csdn)redis cluster 模式如何批量刪除指定前綴的key
[5]. redis cluster模式key的模糊刪除-java操作
[6]. Jedis實現批量刪除redis cluster
[6]. redis del命令支持正則刪除（pattern）
[7]. Redis 批量刪除Redis的key 正則匹配刪除
[8]. (名字挺搞笑-蛋糕店老板)Redis集群下使用Jedis實現keys模糊查詢

到此這篇關於Redis Cluster 字段模糊匹配及刪除的文章就介紹到這瞭,更多相關Redis Cluster 字段模糊刪除內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：