淺談Redis對於過期鍵的三種清除策略

對於過期鍵一般有三種刪除策略

  • 定時刪除:在設置鍵的過期時間的同時,創建一個定時器(timer),讓定時器在鍵的過期時間來臨時,立即執行對鍵的刪除操作;
  • 惰性刪除:放任鍵過期不管,但是每次從鍵空間中獲取鍵時,都檢查取得的鍵是否過期,如果過期的話,就刪除該鍵;如果沒有過期,那就返回該鍵;
  • 定期刪除:每隔一段時間,程序就對數據庫進行一次檢查,刪除裡面的過期鍵。至於刪除多少過期鍵,以及要檢查多少個數據庫,則由算法決定。

 下面我們來看看三種策略的優缺比較:

  • 定時刪除策略對內存是最友好的:通過使用定時器,定時刪除策略可以保證過期鍵會盡可能快地被刪除,並釋放過期鍵所占用的內存;但另一方面,定時刪除策略的缺點是,他對CPU是最不友好的:在過期鍵比較多的情況下,刪除過期鍵這一行為可能會占用相當一部分CPU時間,在內存不緊張但是CPU時間非常緊張的情況下,將CPU時間用在刪除和當前任務無關的過期鍵上,無疑會對服務器的響應時間和吞吐量造成影響;
  • 惰性刪除策略對CPU時間來說是最友好的:程序隻會在取出鍵時才對鍵進行過期檢查,這可以保證刪除過期鍵的操作隻會在非做不可的情況下進行;惰性刪除策略的缺點是,它對內存是最不友好的:如果一個鍵已經過期,而這個鍵又仍然保留在數據庫中,那麼隻要這個過期鍵不被刪除,它所占用的內存就不會釋放;
  • 定時刪除占用太多CPU時間,影響服務器的響應時間和吞吐量;惰性刪除浪費太多內存,有內存泄漏的危險。定期刪除策略是前兩種策略的一種整合和折中:
    • 定期刪除策略每隔一段時間執行一次刪除過期鍵操作,並通過限制刪除操作執行的時長和頻率來減少刪除操作對CPU時間的影響;
    • 通過定期刪除過期鍵,定期刪除策略有效地減少瞭因為過期鍵而帶來的內存浪費;
    • 定期刪除策略的難點是確定刪除操作執行的時長和頻率。

Pre

Redis-17Redis內存回收策略

Redis Key的超時設置處理

expire key seconds

單位是秒。返回1成功,0表示key已經設置過過期時間或者不存在。 如果想消除超時則使用persist key。如果希望采用絕對超時,則使用expireat命令。

ttl key 

返回設置過過期時間的key的剩餘過期秒數 -1表示沒有設置過過期時間,對於不存在的key,返回-2。

pexpire key 毫秒數

設置生命周期。

pttl  key

以毫秒返回生命周期。

被動刪除

當讀/寫一個已經過期的key時,會觸發惰性刪除策略,直接刪除掉這個過期key.

舉個例子, set 一個 過期時間為 600s的 key , 當 到瞭 600s後,redis 並不會執行刪除, 為瞭性能,redis 會在你下次訪問的時候 去刪除 。

這樣的話,我如果永遠不訪問,那不歇菜瞭麼? 不要著急,Redis還有主動刪除 。

主動刪除

由於惰性刪除策略無法保證冷數據被及時刪掉,所以Redis會定期主動淘汰一批已過期的key。

說白瞭,這就是定時任務幹的活,防止有些key 一直占用內存。

當REDIS運行在主從模式時,隻有主結點才會執行被動和主動這兩種過期刪除策略,然後把刪除操作”del key”同步到從結點.

當前已用內存超過maxmemory限定時,觸發主動清理策略

第三種策略的情況: 當前已用內存超過maxmemory限定時,會觸發主動清理策略.

我們需要根據自身業務類型,選好maxmemory-policy(最大內存淘汰策略),設置好過期時間。如果不設置最大內存,當 Redis 內存超出物理內存限制時,內存的數據會開始和磁盤產生頻繁的交換 (swap)會讓 Redis 的性能急劇下降。

默認策略是volatile-lru,即超過最大內存後,在過期鍵中使用lru算法進行key的剔除,保證不過期數據不被刪除,但是可能會出現OOM問題。

其他策略如下:

  • allkeys-lru:根據LRU算法刪除鍵,不管數據有沒有設置超時屬性,直到騰出足夠空間 為止
  • allkeys-random:隨機刪除所有鍵,直到騰出足夠空間為止。
  • allkeys-random:隨機刪除所有鍵,直到騰出足夠空間為止。
  • volatile-ttl:根據鍵值對象的ttl屬性,刪除最近將要過期數據。如果沒有,回退到noeviction策略。
  • noeviction:不會剔除任何數據,拒絕所有寫入操作並返回客戶端錯誤信息”(error)。OOM command not allowed when used memory”,此時Redis隻響應讀操作

記住: volatile 開頭的策略,隻清理過期的key , 而all開頭的策略則不管你過不過期,都會清理。

總結

  • 當client主動訪問key會先對key進行超時判斷,過時的key會立刻刪除。
  • 從節點不會過期掃描,從節點對過期的處理是被動的。 在主從復制環境中,由於上述原因存在已經過期但是沒有刪除的key,在主snapshot時並不包含這些key,因此在slave環境中我們往往看到dbsize較master是更小的。

如果clien永遠都不再get那條key呢?

redis會在Master的後臺,每秒10次的執行如下操作:

隨機選取100個key校驗是否過期,如果有25個以上的key過期瞭,立刻額外隨機選取下100個key(不計算在10次之內)。可見,如果過期的key不多,它最多每秒回收200條左右,如果有超過25%的key過期瞭,它就會做得更多。

到此這篇關於淺談Redis對於過期鍵的三種清除策略的文章就介紹到這瞭,更多相關Redis 過期鍵清除內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet! 

推薦閱讀: