詳解MySQL InnoDB存儲引擎的內存管理

存儲引擎之內存管理

在InnoDB存儲引擎中,數據庫中的緩沖池是通過LRU(Latest Recent Used,最近最少使用)算法來進行管理的,即最頻繁使用的頁在LRU列表的最前段,而最少使用的頁在LRU列表的尾端,當緩沖池不能存放新讀取到的頁時,首先釋放LRU列表尾端的頁。

上面的圖中,我使用8個數據頁來表示隊列,具體作用,先賣個關子。在InnoDB存儲引擎中,緩沖池中頁的默認大小是16KB,LRU列表中有一個midpoint的位置,新讀取到的數據頁並不是直接放入到LRU列表的首部,而是放入到LRU列表的midpoint位置,這個操作稱之為midpoint insertion stategy,也叫中間點插入策略。在默認配置下,該位置在LRU長度的5/8處,這也就是上面使用8個數據頁的作用。下面的圖示意瞭新的數據頁的插入過程:

mitpoint的位置可通過參數innodb_old_blocks_pct控制,如下:

mysql> show variables like 'innodb_old_blocks_pct';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_old_blocks_pct | 37    |
+-----------------------+-------+
 row in set (. sec)

從上面的例子看出,結果是37,這個37意味著新讀取的頁將被插入到大概距離LRU列表尾端37%的位置,差不多3/8的位置,在InnoDB存儲引擎中,midpoint之前的頁稱為new列表,後面的頁稱之為old列表,new列表中的頁是最為活躍的數據。

為什麼不直接把數據頁放在LRU隊列的首部?

之所以不把新讀取的數據頁放在LRU隊列的首部,是因為某些全表掃描的SQL操作可能會將所有的熱點數據都刷新出LRU隊列,導致下一次訪問熱點數據的時候,必須從磁盤中取相應的數據,從而影響緩沖池的效率。為瞭解決這個問題,InnoDB使用另外一個參數來管理LRU列表,就是innodb_old_blocks_time,用於表示頁讀取到midpoint之後,多久才會加入到LRU列表的熱端。因此當需要執行上述所說的SQL操作時,可以通過下面的方法盡可能使LRU列表中的熱點數據不被刷出。

mysql> set global innodb_old_blocks_time=;
Query OK,  rows affected (0.00 sec)

這表示在1000s之後,才允許這些數據刷新到LRU列表的熱端。

如果在實際情況中,數據頁活躍的比率不止63%,用戶還可以通過設置innodb_old_blocks_pct來減少熱點頁可能被刷出的概率。

mysql> set global innodb_old_blocks_pct=;                                                                                                     
Query OK,  rows affected (0.00 sec)

當數據庫剛啟動時,LRU的內容是空的,這個時候,所有的數據頁都放在Free列表中,當需要從緩沖池中分頁時,首先從Free列表中查找是否有可用的Free頁,如果存在,則將該頁從Free頁中刪除,然後放入到LRU的列表中。淘汰掉LRU列表末尾的數據頁,將該內存空間分配給新的頁。這個過程的流程圖如下:

當LRU列表中的頁從old部分加入到new部分時,稱此時發生的操作是page made young,而因為innodb_old_blocks_time的設置而沒有從old部分移動到new部分的操作稱之為page_not_made young。可以通過show engine innodb status來觀察LRU列表以及Free列表的使用情況和運行狀態。

mysql> show engine innodb status\G
***
***
----------------------
BUFFER POOL AND MEMORY
----------------------
Total large memory allocated 
Dictionary memory allocated 
Buffer pool size   
Free buffers       
Database pages     
Old database pages 
Modified db pages  
Pending reads      
Pending writes: LRU , flush list , single page 
Pages made young , not young 
0.00 youngs/s, 0.00 non-youngs/s
Pages read , created , written 
0.00 reads/s, 0.00 creates/s, 0.00 writes/s
No buffer pool page gets since the last printout
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: , unzip_LRU len: 
I/O sum[]:cur[], unzip sum[]:cur[]
--------------
ROW OPERATIONS
--------------
 queries inside InnoDB,  queries in queue
 read views open inside InnoDB
Process ID=, Main thread ID=, state: sleeping
Number of rows inserted , updated , deleted , read 
0.00 inserts/s, 0.00 updates/s, 0.00 deletes/s, 0.00 reads/s
----------------------------
END OF INNODB MONITOR OUTPUT
============================

 row in set (0.00 sec)

    從上面的結果可以看到:當前buffer pool size總共有8191個頁,每個數據頁的大小是16k,總共的大小是8191*16k=128M的緩沖池,其中Free buffers表示當前Free列表中頁的數量。page made young顯示瞭LRU列表中頁移動到前端的次數,因為該服務器在運行階段沒有改變innodb_old_blocks_time的值,因此not young為0,youngs/s、non_youngs/s表示每秒這兩類操作的次數。

    InnoDB存儲引擎從1.0.x版本開始支持壓縮頁的功能,即將原本16kb的數據頁壓縮成1KB、2KB、4KB和8KB。對於非16KB的頁,是通過unzip_LRU來管理的,上述命令中的第22行就顯示瞭壓縮頁和非壓縮頁的信息。

需要註意的一點是Free buffers的值與Database Pages的值之和不一定等於buffer pool size,因為緩沖池中的頁可能還會被分配各自適應哈希索引、鎖信息等頁,而這部分頁並不需要LRU算法進行維護。

臟頁

     在LRU列表中的頁被修改之後,這個頁就稱之為“臟頁”,即緩沖池中的數據頁和磁盤上的數據產生瞭不一致,緩沖池的數據比較新,這時數據庫會通過checkpoint機制將臟頁刷新回磁盤,而Flush列表中的頁也就是臟頁列表,臟頁既存在於LRU列表中,也存在與Flush列表中,LRU列表用來管理緩沖池中頁的可用性,Flush列表用來管理將頁刷新回磁盤,二者不影響。Flush列表也可以通過show engine innodb status來查看,前面的結果列表中的第13行,modified db pages就是當前的臟頁數量,用戶可以通過元數據表INNODB_BUFFER_PAGE_LRU表來查看。

以上就是詳解MySQL InnoDB存儲引擎的內存管理的詳細內容,更多關於InnoDB 內存管理的資料請關註WalkonNet其它相關文章!

推薦閱讀:

    None Found