Redis數據過期策略的實現詳解

Posted on by

　　本文對Redis的過期機制簡單的講解一下

　　講解之前我們先拋出一個問題，我們知道很多時候服務器經常會用到redis作為緩存，有很多數據都是臨時緩存一下，可能用過之後很久都不會再用到瞭（比如暫存session，又或者隻存放日行情股票數據）那麼就會出現一下幾個問題瞭

Redis會自己回收清理不用的數據嗎？如果能，那如何配置？如果不能，如何防止數據累加後大量占用存儲空間的問題？

　　之前一直接觸Redis不是很深入，最近項目當中遇到一個需求場景，需要清空一些存放在Redis的數據，主要是通過一些時間進行過濾，刪除那些不滿足的數據，但是這樣的工作每天都需要進行，那工作量就比較大瞭，而且每天都需要按時去手動清理，這樣做也不切實際，後面發現Redis中有個設置時間過期的功能，即對存儲在Redis數據庫中的值可以設置一個過期時間。作為一個緩存數據庫，這是非常實用的。這就是我們本文要講到的Redis過期機制。其實這個機制運用的場景十分廣泛，比如我們一般項目中的token或者一些登錄信息，尤其是短信驗證碼都是有時間限制的，或者是限制請求次數，如果按照傳統的數據庫處理方式，一般都是自己判斷過期，這樣無疑會嚴重影響項目性能。

一、設置過期時間

　　Redis對存儲值的過期處理實際上是針對該值的鍵（key）處理的，即時間的設置也是設置key的有效時間。Expires字典保存瞭所有鍵的過期時間，Expires也被稱為過期字段。

expire key time(以秒為單位)–這是最常用的方式setex(String key, int seconds, String value)–字符串獨有的方式

註：
　　1、除瞭字符串自己獨有設置過期時間的方法外，其他方法都需要依靠expire方法來設置時間
　　2、如果沒有設置時間，那緩存就是永不過期
　　3、如果設置瞭過期時間，之後又想讓緩存永不過期，使用persist key

1、常用方式

一般主要包括4種處理過期方，其中expire都是以秒為單位，pexpire都是以毫秒為單位的。

EXPIRE key seconds　　//將key的生存時間設置為ttl秒
PEXPIRE key milliseconds　　//將key的生成時間設置為ttl毫秒
EXPIREAT key timestamp　　//將key的過期時間設置為timestamp所代表的的秒數的時間戳
PEXPIREAT key milliseconds-timestamp　　//將key的過期時間設置為timestamp所代表的的毫秒數的時間戳

備註：timestamp為unix時間戳（例如：timestamp=1499788800 表示將在2017.07.12過期）
1、2兩種方式是設置一個過期的時間段，就是咱們處理驗證碼最常用的策略，設置三分鐘或五分鐘後失效，把分鐘數轉換成秒或毫秒存儲到Redis中。
3、4兩種方式是指定一個過期的時間 ，比如優惠券的過期時間是某年某月某日，隻是單位不一樣。

下面我們就以EXPIREAT為例子簡單講解下用法。

返回值

一個整數值1或0，如下：

  • 如果成功地為該鍵設置瞭超時時間，返回 1
  • 如果鍵不存在或無法設置超時時間，返回 0

語法
以下是以Redis的EXPIREAT命令的基本語法。

redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP

示例

首先，在Redis中創建一個鍵：akey，並在akey中設置一些值。

redis 127.0.0.1:6379> SET akey redis 
OK

現在，為設置創建的鍵設置超時時間為60秒。

127.0.0.1:6379> SET akey redis
OK
127.0.0.1:6379> EXPIREAT akey 1393840000
(integer) 1
127.0.0.1:6379> EXISTS akey
(integer) 0
127.0.0.1:6379> SET akey redis
OK
127.0.0.1:6379> EXPIREAT akey 1493840000
(integer) 1
127.0.0.1:6379> EXISTS akey
(integer) 1

其他三個用法類似，這裡不逐一闡述

2、字符串獨有方式

對字符串特殊處理的方式為SETEX命令，SETEX命令為指定的 key 設置值及其過期時間。如果 key 已經存在， SETEX 命令將會替換舊的值。

返回值

設置成功時返回 OK 。

語法

Redis Setex 命令基本語法如下：

redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

示例

redis 127.0.0.1:6379> SETEX mykey 60 redis
OK
redis 127.0.0.1:6379> TTL mykey
60
redis 127.0.0.1:6379> GET mykey
"redis

二、3種過期策略

定時刪除

  • 含義：在設置key的過期時間的同時，為該key創建一個定時器，讓定時器在key的過期時間來臨時，對key進行刪除
  • 優點：保證內存被盡快釋放
  • 缺點：
    • 若過期key很多，刪除這些key會占用很多的CPU時間，在CPU時間緊張的情況下，CPU不能把所有的時間用來做要緊的事兒，還需要去花時間刪除這些key
    • 定時器的創建耗時，若為每一個設置過期時間的key創建一個定時器（將會有大量的定時器產生），性能影響嚴重
    • 沒人用

惰性刪除

  • 含義：key過期的時候不刪除，每次從數據庫獲取key的時候去檢查是否過期，若過期，則刪除，返回null。
  • 優點：刪除操作隻發生在從數據庫取出key的時候發生，而且隻刪除當前key，所以對CPU時間的占用是比較少的，而且此時的刪除是已經到瞭非做不可的地步（如果此時還不刪除的話，我們就會獲取到瞭已經過期的key瞭）
  • 缺點：若大量的key在超出超時時間後，很久一段時間內，都沒有被獲取過，那麼可能發生內存泄露（無用的垃圾占用瞭大量的內存）

定期刪除

  • 含義：每隔一段時間執行一次刪除(在redis.conf配置文件設置hz，1s刷新的頻率)過期key操作
  • 優點：
    • 通過限制刪除操作的時長和頻率，來減少刪除操作對CPU時間的占用–處理”定時刪除”的缺點
    • 定期刪除過期key–處理”惰性刪除”的缺點
  • 缺點
    • 在內存友好方面，不如”定時刪除”
    • 在CPU時間友好方面，不如”惰性刪除”
  • 難點
    • 合理設置刪除操作的執行時長（每次刪除執行多長時間）和執行頻率（每隔多長時間做一次刪除）（這個要根據服務器運行情況來定瞭）

看完上面三種策略後可以得出以下結論：

定時刪除和定期刪除為主動刪除：Redis會定期主動淘汰一批已過去的key

惰性刪除為被動刪除：用到的時候才會去檢驗key是不是已過期，過期就刪除

惰性刪除為redis服務器內置策略

定期刪除可以通過：

  • 第一、配置redis.conf 的hz選項，默認為10 （即1秒執行10次，100ms一次，值越大說明刷新頻率越快，最Redis性能損耗也越大）
  • 第二、配置redis.conf的maxmemory最大值，當已用內存超過maxmemory限定時，就會觸發主動清理策略

註意：

上邊所說的數據庫指的是內存數據庫，默認情況下每一臺redis服務器有16個數據庫（關於數據庫的設置，看下邊代碼），默認使用0號數據庫，所有的操作都是對0號數據庫的操作，關於redis數據庫的存儲結構，查看 第八章 Redis數據庫結構與讀寫原理

# 設置數據庫數量。默認為16個庫，默認使用DB 0，可以使用"select 1"來選擇一號數據庫
# 註意：由於默認使用0號數據庫，那麼我們所做的所有的緩存操作都存在0號數據庫上，
# 當你在1號數據庫上去查找的時候，就查不到之前set過得緩存
# 若想將0號數據庫上的緩存移動到1號數據庫，可以使用"move key 1"
databases 16

memcached隻是用瞭惰性刪除，而Redis同時使用瞭惰性刪除與定期刪除，這也是二者的一個不同點（可以看做是redis優於memcached的一點）

對於惰性刪除而言，並不是隻有獲取key的時候才會檢查key是否過期，在某些設置key的方法上也會檢查（eg.setnx key2 value2：該方法類似於memcached的add方法，如果設置的key2已經存在，那麼該方法返回false，什麼都不做；如果設置的key2不存在，那麼該方法設置緩存key2-value2。假設調用此方法的時候，發現redis中已經存在瞭key2，但是該key2已經過期瞭，如果此時不執行刪除操作的話，setnx方法將會直接返回false，也就是說此時並沒有重新設置key2-value2成功，所以對於一定要在setnx執行之前，對key2進行過期檢查）

三、Redis采用的過期策略

惰性刪除+定期刪除

惰性刪除流程

  • 在進行get或setnx等操作時，先檢查key是否過期，若過期，
  • 刪除key，然後執行相應操作；
  • 若沒過期，直接執行相應操作

定期刪除流程（簡單而言，對指定個數個庫的每一個庫隨機刪除小於等於指定個數個過期key）

遍歷每個數據庫（就是redis.conf中配置的”database”數量，默認為16）

檢查當前庫中的指定個數個key（默認是每個庫檢查20個key，註意相當於該循環執行20次，循環體時下邊的描述）

  • 如果當前庫中沒有一個key設置瞭過期時間，直接執行下一個庫的遍歷
  • 隨機獲取一個設置瞭過期時間的key，檢查該key是否過期，如果過期，刪除key
  • 判斷定期刪除操作是否已經達到指定時長，若已經達到，直接退出定期刪除。

四、RDB對過期key的處理

過期key對RDB沒有任何影響

從內存數據庫持久化數據到RDB文件

  • 持久化key之前，會檢查是否過期，過期的key不進入RDB文件

從RDB文件恢復數據到內存數據庫

  • 數據載入數據庫之前，會對key先進行過期檢查，如果過期，不導入數據庫（主庫情況）

五、AOF對過期key的處理

過期key對AOF沒有任何影響

從內存數據庫持久化數據到AOF文件：

  • 當key過期後，還沒有被刪除，此時進行執行持久化操作（該key是不會進入aof文件的，因為沒有發生修改命令）
  • 當key過期後，在發生刪除操作時，程序會向aof文件追加一條del命令（在將來的以aof文件恢復數據的時候該過期的鍵就會被刪掉）

AOF重寫

  • 重寫時，會先判斷key是否過期，已過期的key不會重寫到aof文件

到此這篇關於Redis數據過期策略的實現詳解的文章就介紹到這瞭,更多相關Redis數據過期策略內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：