詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案

Posted on by

先看一道GIL面試題：

描述Python GIL的概念， 以及它對python多線程的影響？編寫一個多線程抓取網頁的程序，並闡明多線程抓取程序是否可比單線程性能有提升，並解釋原因。

GIL：又叫全局解釋器鎖，每個線程在執行的過程中都需要先獲取GIL，保證同一時刻隻有一個線程在運行，目的是解決多線程同時競爭程序中的全局變量而出現的線程安全問題。它並不是python語言的特性，僅僅是由於歷史的原因在CPython解釋器中難以移除，因為python語言運行環境大部分默認在CPython解釋器中。

通過一個案例瞭解單線程和多線程的cpu占用率：

打開Ubuntu終端命令：輸入htop，回車，紅色箭頭指向的2代表此時我的虛擬機中CPU有兩個核心數

下面通過一個案例瞭解單線程死循環和多線程死循環的CPU占用率：

單線程死循環.py： 

#coding=utf-8
while True:
  pass

運行該程序，出現以下界面：

此時新開一個窗口，輸入htop，查看CPU占用率，其中一個CPU占用率幾乎為100%：

兩個線程死循環.py

#coding=utf-8
import threading
 
#子線程死循環
def test():
  while True:
    pass
 
t1=threading.Thread(target=test)
t1.start()
 
#主線程死循環,
while True:
  pass

此時新開一個終端，輸入htop查看CPU占用率，可以看到兩個CPU任何一個並沒有全部占滿，而是交替執行的：

 這也就驗證瞭多線程下每個線程在執行的過程中都需要先獲取GIL，保證同一時刻隻有一個線程在運行。

由於GIL的存在，即使是多線程，事實上同一時刻隻能保證一個線程在運行，既然這樣多線程的運行效率不就和單線程一樣瞭嗎，那為什麼還要使用多線程呢？

由於以前的電腦基本都是單核CPU，多線程和單線程幾乎看不出差別，可是由於計算機的迅速發展，現在的電腦幾乎都是多核CPU瞭，最少也是兩個核心數的，這時差別就出來瞭：通過之前的案例我們已經知道，即使在多核CPU中，多線程同一時刻也隻有一個線程在運行，這樣不僅不能利用多核CPU的優勢，反而由於每個線程在多個CPU上是交替執行的，導致在不同CPU上切換時造成資源的浪費，反而會更慢。即原因是一個進程隻存在一把gil鎖，當在執行多個線程時，內部會爭搶gil鎖，這會造成當某一個線程沒有搶到鎖的時候會讓cpu等待，進而不能合理利用多核cpu資源。

例如在使用多線程抓取網頁內容時，遇到IO阻塞時，正在執行的線程會暫時釋放GIL鎖，這時其它線程會利用這個空隙時間，執行自己的代碼，因此多線程抓取比單線程抓取性能要好。

說到在這裡要先介紹兩個概念：計算密集型和IO密集型

計算密集型：要進行大量的數值計算，例如進行上億的數字計算、計算圓周率、對視頻進行高清解碼等等。這種計算密集型任務雖然也可以用多任務完成，但是花費的主要時間在任務切換的時間，此時CPU執行任務的效率比較低。

IO密集型：涉及到網絡請求(time.sleep())、磁盤IO的任務都是IO密集型任務，這類任務的特點是CPU消耗很少，任務的大部分時間都在等待IO操作完成（因為IO的速度遠遠低於CPU和內存的速度）。對於IO密集型任務，任務越多，CPU效率越高，但也有一個限度。

解決GIL問題的方案：

1.使用其它語言，例如C,Java

2.使用其它解釋器，如java的解釋器jython

3.使用多進程

線程釋放GIL鎖的情況：

1.在IO操作等可能會引起阻塞的system call之前,可以暫時釋放GIL,但在執行完畢後,必須重新獲取GIL。

2.Python 3.x使用計時器（執行時間達到閾值後，當前線程釋放GIL）或Python 2.x，tickets計數達到100。

GIL面試題參考答案：

  • Python語言和GIL沒有什麼關系。僅僅是由於歷史原因在Cpython虛擬機(解釋器)，難以移除GIL。
  • GIL：全局解釋器鎖。每個線程在執行的過程都需要先獲取GIL，保證同一時刻隻有一個線程可以執行代碼。
  • 線程釋放GIL鎖的情況： 在IO操作等可能會引起阻塞的system call之前,可以暫時釋放GIL,但在執行完畢後,必須重新獲取GIL Python 3.x使用計時器（執行時間達到閾值後，當前線程釋放GIL）或Python 2.x，tickets計數達到100。
  • Python使用多進程是可以利用多核的CPU資源的。
  • 多線程爬取比單線程性能有提升，因為遇到IO阻塞會自動釋放GIL鎖。

到此這篇關於詳解Python中的GIL(全局解釋器鎖)詳解及解決GIL的幾種方案的文章就介紹到這瞭,更多相關Python GIL全局解釋器鎖內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：