淺談為什麼單線程的redis那麼快

Posted on by

redis單機QPS

./redis-benchmark -t set,lpush -n 100000 -q
SET: 82101.80 requests per second
LPUSH: 82440.23 requests per second

在自己的電腦上測試SET和LPUSH10萬次，可以發現每秒SET和LPUSH大概在8w多，接近官方說的單機10w qps的寫。

為什麼這麼快

內存型數據庫

redis完全是基於內存的，絕大部分請求是純粹的內存操作，所以非常快速。

簡單的數據結構

redis目前支持5種數據類型（string、list、hash、set、zset），數據結構相對簡單，操作起來也相對快速。

sds數據結構

對於string來說，redis采用SDS方式來組織數據：

這種數據的核心思想就是空間換時間

空間預分配：當空間擴展時，不僅分配所需空間，還會分配額外的空間

  • 分配後sds長度小於1M，那麼也分配同樣大小的額外空間，假設一個key修改後 len=13，那麼也分配free=13，最後buf=13+13+1=27
  • 如果分配後len大於等於1M，那麼額外固定分配1M，假設修改後len=30M，分配free=1M，最後buf=30M+1M+1byte

惰性空間釋放

  • 假設有個len=13，free=13的字符串，這時候如果字符變短瞭len=10，那麼額外的3個byte的空間也不會回收，先放在free裡面，這時候free=16

通過這種分配方式，某些場景下可以減少內存申請的次數，從而達到一定的快速

跳躍表

redis的有序集合，采用的跳躍表的數據結構，通過層來加快訪問其他節點

每個節點會隨機一個層高，比如o1節點可以通過L4層直接跳到o3,跨度是2，redis的有序集合就是通過這種方式來加快節點之間的訪問的。

單線程

redis采用單線程模型，單線程的好處在於避免瞭多線程對數據競爭的問題，加鎖的問題，上下文切換的問題。
據官方解釋，redis的瓶頸不在cpu，而在內存或者網絡的帶寬，綜合考慮然後就采用瞭單線程。這裡說的單線程是指處理網絡請求時隻是用一個線程，redis本身在持久化的時候還是會用到額外的線程的。

redis4.0的多線程

redis4.0開始也支持瞭多線程，當然隻是針對部分命令采用的是多線程，例如：UNLINK、FLUSHALL 、ASYNC、FLUSHDB。引入這些的目的是：在某些情況下，盡可能的提升效率，假設有一個key大到幾十M，這時DEL這個key的時候，可能會短暫的阻塞，這時如果用unlink來刪除，剛開始隻是刪除這個key，真正的value是後臺線程去刪除的。

IO多路復用

redis采用瞭非阻塞的IO多路復用技術。redis本身就是一個事件驅動程序，redis把socket抽象成文件事件。這裡說的IO多路復用就是文件事件處理器以單線程的方式，來監聽相關的套接字（accept、read、write、close）。

由於IO多路復用程序是一個單線程，那麼當多個socket到來時，肯定要排隊，它們總是以隊列的方式順序地處理。

C10K問題

在沒有IO多路復用的時候，假設現在有10000個客戶端連接（fd1-10000），但是隻有1個客戶端有發數據，然而計算機並不知道哪個fd有數據，隻能遍歷10000次，每次都要陷入內核，開銷比較大，而且實際上9999次都是浪費的。

IO多路復用

IO多路復用的意思就是多個網路IO即為多個TCP連接 復用一個進程或者線程，這種模型最大的好處就是不用為每個連接創建一個進程或者線程。比較經典的模型就是 select、poll、epoll。

  • select：select(fds)，一次性把fds交給內核，然後內核告訴哪些fd可讀可寫（內核自己遍歷，而不用用戶遍歷，將多次的系統調用變成1次系統調用）。fds最大是1024，這也決定瞭select模型最大並發是1024。
  • poll：和select差不多，隻不過並發不止1024瞭，可以更多
  • epoll: select和poll的缺點是內核遍歷的時間復雜度是O(n)，雖然用戶態不用遍歷瞭，減少瞭陷入內核的次數，但是內核還是要遍歷的。epoll的優點就是內核也不需要遍歷瞭，當用戶把fds傳給內核時，然後依賴硬件中斷，比如當網卡有數據到來時，就會中斷告訴cpu，cpu就知道哪個fd有數據到達瞭。

redis默認采用epoll，除非系統不支持。

總結

  • redis是內存型數據庫
  • redis特殊的數據結構
  • 單線程避免鎖的競爭
  • io多路復用

以上4點是單線程redis快的主要原因。

到此這篇關於淺談為什麼單線程的redis那麼快的文章就介紹到這瞭,更多相關redis 單線程快內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：