MongoDB 內存管理相關總結

Posted on by

MongoDB的內存用在哪兒？

   在MongoDB中，加載各種依賴的lib到內存、管理客戶端請求、元數據管理存儲等工作都需要占用內存，但其實內存使用的大部分還是在存儲引擎和客戶端連接請求處理方面。

   一方面是存儲引擎的cache，通常情況下，我們可以使用參數cacheSizeGB參數(下面會講到)來控制內存使用率，一旦超過這個內存使用率，則MongoDB的存儲引擎會淘汰掉部分內存中的數據頁。

   正常運行的MongoDB實例，內存使用率大約為80%的cacheSizeGB參數值，因為超過80%之後，內存淘汰策略就開始淘汰過期的數據頁瞭，如果出現使用率過大，則多半表示當前實例內存淘汰的壓力比較大。請求就有延時的可能。

   另一方面，如果客戶端的連接數過多，建立過多的tcp鏈接，這些連接的維護，需要有read buffer和write buffer以用來收發網絡包，所以也會產生開銷。每個連接占用的內存大小約為2MB左右。

如何限制MongoDB對內存的使用？

   最近在線上發現瞭一些有意思的現象，比如某一臺服務器上部署瞭MySQL和MongoDB的服務，然後內存報警，說是內存已經使用瞭超過85%瞭，這個時候，通常我們會想到遷移服務。將MySQL或者MongoDB的服務切換到其他的機器上，這樣，服務器的內存就可以節省下來。

    但是實際的現象就是，如果我們遷移瞭MySQL的服務之後，服務器的內存臨時會降下來，但是一段時間過後，又會報警，因為MongoDB已經將MySQL騰出來的內存空間也占用完瞭。

    我們知道，在MySQL中，占用內存比較多的就是innodb_buffer_pool，還有一堆其他的buffer，除此之外，連接數也是一個需要考慮的因素。

     在MongoDB中，如果我們不限制MongoDB的內存使用，那麼MongoDB就會盡可能的占用更多的內存來提高讀寫性能。具體的策略如下：

    從MongoDB3.4開始， WiredTiger存儲引擎默認的cache size是下面2個值中較大的一個。

公式一：0.5*(物理內存-1GB)

公式二：256MB

     例如，物理內存4G，則cache size=1.5GB，如果物理內存1.5G，則cache size=0.5*(1.5-1)=250MB < 256MB ，所以取值為256MB

     MongoDB中可以通過配置文件的內容限定MongoDB所使用的內存，關鍵參數如下：

storage:
 wiredTiger:
  engineConfig:
   cacheSizeGB: <number> # 單位是GB，浮點型
   journalCompressor: <string>
   directoryForIndexes: <boolean>
   maxCacheOverflowFileSizeGB: <number>
  collectionConfig:
   blockCompressor: <string>
  indexConfig:
   prefixCompression: <boolean>

    上面的參數，一般情況下，單機單實例，建議配置在內存的60%左右。

cacheSizeGB參數配置的註意事項

幾點建議：

1、不要增加WiredTiger的內部cache size超過默認值

2、WiredTiger存儲引擎使用WiredTiger內部緩存和文件系統緩存

3、WiredTiger會自動使用所有剩餘的文件系統緩存

4、單機多實例請務必減少mongod的內存分配值

如何查看內存使用情況？

db.hostInfo()

這個命令可以查看MongoDB的內存限制情況，查看結果如下：

SECONDARY> db.hostInfo()
{
  "system" : {
    "currentTime" : ISODate("2020-12-31T03:51:28.278Z"),
    "hostname" : "localhost.localdomain:24204",
    "cpuAddrSize" : 64,
    "memSizeMB" : 64393,
    "numCores" : 8,
    "cpuArch" : "x86_64",
    "numaEnabled" : false
  },

以上就是MongoDB 內存管理相關總結的詳細內容，更多關於MongoDB 內存管理的資料請關註WalkonNet其它相關文章！

推薦閱讀：