詳解Redis瘦身指南

Posted on by

Redis內存回收

Redis 服務器的最大占用內存量由配置項 maxmemory 決定，我們可以通過 config set maxmemory 2GB 的格式來配置。一旦 Redis 內存滿，所有引起內存增加的操作都會被返回 error。作為專業 Redis 服務器我們通常將此項設置為0，以服務器系統內存來作為限制；

那麼 Redis 使用內存達到瞭上限怎麼辦？Redis 為我們提供瞭幾種選項以自動回收內存，可以通過配置項 maxmemory-policy 來配置；

  • noeviction 不回收；
  • allkeys-lru 從所有鍵中刪除最近最少使用的鍵；
  • volatile-lru 從設置瞭過期時間的鍵中刪除最近最少使用的鍵；
  • allkeys-random 從所有鍵中隨機刪除；
  • volatile-random 從設置瞭過期時間的鍵中隨機刪除；
  • volatile-ttl 從設置瞭過期時間的鍵中選擇存活時間最短的鍵刪除；

最大內存回收策略需要根據業務來配置，如果純粹做緩存，allkeys-lru無疑是最合適的。如果存儲瞭稍微重要的數據，為瞭防止 Redis 誤刪一些重要鍵，則需要選用 noeviction；

allkeys-lru、allkeys-random 在內存滿時都有鍵可刪，可以騰出內存，但如果配置瞭其他的策略，數據庫用久瞭（根據業務量），隨著業務發展和數據積累，通常會累積到到服務器內存占用率高，利用率低的情況，則可能會遇到內存占用滿的問題。

問題原由

產生問題的原因有：

持久鍵廢棄

這是導致此問題的最常見情況。

有時候是開發人員的鍋，開發不規范，未給有時效性的鍵設置過期時間，後續又不進行手動刪除，鍵就成為無人管的孤兒鍵瞭。

還可能是整個業務慢慢被廢棄，不知道哪一天起，業務整體已不再維護瞭，一批鍵自然也就沒用瞭。比這更嚴重的是，如果使用 List 傳遞數據，消費進程已被停止，但生產進程未同步停止，還在往 Redis 裡寫數據。

過期鍵未回收

這個原因首先要談到 Redis 的兩種過期鍵刪除策略：

  • 惰性刪除：在讀取鍵時發現鍵已過期，則將其刪除。
  • 定期刪除：Redis 會從所有設置瞭過期時間的鍵中選取 100 個，刪除已過期的鍵，如果已過期的鍵超過 25 個，則再次進行此操作。 此刪除操作由配置項 hz 決定，Redis 默認每秒進行 10 次；

如果我們產生過期鍵的速度很快，最多可導致 Redis 25% 的過期鍵沒有被及時刪除。

遍歷清除垃圾鍵

由上，明白瞭問題產生的原因，解決 Redis 內存滿的方法就明確瞭：清除這些垃圾鍵。 於是就面臨著兩個問題：

如何遍歷鍵

對於查找鍵，我們首先想到的是 KEYS，但 KEYS 的時間復雜度是O(n)，n 是 Redis 內鍵的總數，如果 Redis 內鍵很多還是會有性能問題，導致其他命令被阻塞的。

這裡介紹一個鍵遍歷命令： SCAN。

SCAN cursor：

0 => cursor, // cursor = 0 遍歷結束
1 => array(key1, key2...)

需要註意的是 SCAN 命令是在版本2.8.0 加入的，如果是之前的版本，可以考慮解析 Redis 的 RDB 文件來獲取所有的鍵。

如何判斷鍵是否垃圾

我們有三種異常鍵需要處理：

  • 過期鍵：這些鍵會在被 SCAN 到時被自動刪除，不再考慮。如果是解析 RDB 文件獲取到的鍵，在查詢時也會被自動刪除；
  • 長時間未讀寫的鍵，很可能是業務不再需要的鍵；
  • 占用大量內存的鍵，有可能是在不停地寫，但未消費。

這裡介紹 Redis 的另一個命令 OBJECT，使用它可以從內部查看 key 對象的狀態。使用 OBJECT IDLETIME key 來獲取 key 的閑置時間，我們可以判斷 key 閑置時間大於一個時間段（根據業務自定）的為已廢棄。

此外還能使用 OBJECT REFCOUNT key獲取 key 引用所儲存的值的次數，OBJECT ENCODING key 獲取 key 儲存的值所使用的內部表示。

獲取鍵大小

而獲取 Redis 某鍵占用內存大小，則通過另一個命令 DEBUG OBJECT 來獲取，此命令會返回比OBJECT命令更詳細的內部數據。

DEBUG OBJECT test
Value at:0x7fb0ee16ebd0 refcount:1 encoding:embstr serializedlength:6 lru:12362780 lru_seconds_idle:4

結果包括內存地址、引用數、內部編碼表示、序列化後的長度、最近最少使用標識值，閑置時間，我們可以解析此結果串來獲取對應的數據。

需要註意，key 作為復合鍵擁有大量字段時使用 DEBUG 命令計算內存會使 Redis 阻塞較長時間，且 Redis 官方並不建議在客戶端使用此命令。

我們也可以先使用 TYPE key 獲取鍵的類型，再根據類型獲取其鍵的大小，如對字符串使用LEN，對 哈希表使用HLEN。

要註意在刪除特別大的復合鍵時，建議先逐步清空鍵內的字段，防止因字段過多，Redis 阻塞較長時間。

管道加速

Redis 支持 pipeline 管道技術，一次 請求/響應 服務器能實現處理並響應多個請求。這樣就可以將多個命令同時發送到服務器，不等待回復，直接在最後獲取多個結果。

PHP 中使用 MULTI(Redis::PIPELINE) 和 EXEC() 命令來實現管道；

腳本實現

下面是個簡單的腳本：

$redis = new Redis();
$redis->connect('127.0.0.1');
do {
    $keys = $redis->scan($cursor);

    $pipeline = $redis->multi(Redis::PIPELINE);
    foreach ($keys as $key) {
        $idle_time = $redis->object('idletime', $key);
        if ($idle_time > 180 * 24 * 3600) {
            $pipeline->del($key);
        }
        // todo 判斷類型進而判斷占用內存大小，再刪除
    }
    $pipeline->exec();
} while ($cursor != 0);

從根源避免問題

以上的腳本肯定也會在刪除鍵時影響 Redis 的效率，最好的情況還是從根源就避免此類情況，以下是一些建議：

  • 規范化開發；
  • 首先是鍵命名要規范，讓人見名知義，這樣在人工排錯或刪除時也有判斷依據，然後最好有完善的 Redis 鍵文檔，以保證業務在很長時間，經手多人後也能資料可查。
  • 使用 HashSet 替代 Key-Value；
  • 將業務中某一族的鍵以 HashSet 的方式存儲，以替代普通的 key-value 類型。不僅可以省去為每個鍵設置前綴以節約內存，也便於統一管理。
  • 有時效性的鍵註意設置過期時間；
  • 合理設置定時清除過期鍵頻率 hz，在 Redis 不做多餘操作的情況下，使過期鍵盡量能被刪除；
  • 做好 Redis 內存的監控，在達到某個閾值時查找問題並解決。

小結

Redis假死

我在使用守護進程時 Redis 有假死情況，PHP 和 Redis 都不報錯，但命令都返回 false，這種情況可以使用 Redis 的 ping() 命令，來探測 Redis 連接是否還在，如果不在則再建立新的連接。此問題很可能是由服務器配置引起的，如果您有知道此問題的原由或有好的解決辦法，煩請指點一二。

危險命令

不要在沒看文檔的情況下在線上使用 Redis 命令，例如 debug segfault，別問我怎麼知道的。

以上就是詳解Redis瘦身指南的詳細內容，更多關於Redis瘦身指南的資料請關註WalkonNet其它相關文章！

推薦閱讀：