Python編程中Python與GIL互斥鎖關系作用分析

Posted on by

我們知道，在 CPython 中，有一個全局解釋器鎖，英文叫 global interpreter lock，簡稱 GIL，是一個互斥鎖，用來保護 Python 世界裡的對象，防止同一時刻多個線程執行 Python 的字節碼，從而確保線程安全，這導致瞭 Python 的線程無法利用多核 CPU 的優勢，因此有人說 Python 的多線程是偽多線程，性能不高，那麼 Python 將來有可能去除 GIL 嗎？

要回答這個問題，先從 GIL 的起源進行分析。

GIL 的起源

Python 第一次發佈是在 1991 年，當時的 CPU 都是單核，單核中，多線程主要為瞭一邊做IO，一邊做 CPU 計算而設計的，Python 編譯器是由 C 語言編寫的，因此也叫 CPython，那時候很多編程語言沒有自動內存管理的功能，為瞭實現自動垃圾回收，Python 為每一個對象進行瞭引用計數，當引用計數為 0 的時候說明該對象可以回收，從而釋放內存瞭，比如：

>>> import sys
>>> data = { 'gzh': 'Python七號'}
>>> var1 = data
>>> sys.getrefcount(data)
3
>>>

這裡 data 對象就有 3 個引用， 一個是本身，一個是變量 var1，一個是 getrefcount 函數的參數，如果此時又有一個線程引用瞭 data，那麼引用計數再增加 1，如果某個線程使用瞭 data 後運行結束，那麼引用計數就減少 1，多線程對同一個變量「引用計數」進行修改，就會遇到 race conditions（競爭），為瞭避免 race conditions，最簡單有效的辦法就是加一個互斥鎖。

如果對每一個對象都加鎖，有可能引發另一個問題，就是死鎖，而且頻繁的獲取和釋放會導致性能下降，最簡單有效的方法就是加一個解釋器鎖，線程在執行任何字節碼時都先獲取解釋器鎖，這就避免瞭死鎖，而且不會有太多的性能消耗。當時 CPU 都是單核，而且這種 GIL 設計簡單，並不會影響性能，因此一直沿用至今天。GIL 存在最主要的原因，就是因為 Python 的內存管理不是線程安全的，這就是 GIL 產生並存在的主要緣由。

嘗試消除 GIL

CPU 進入多核時代後，可以同時做多個計算任務, GIL 才真正變成問題。在 1999 年，有個叫 Greg Stein 的大佬基於 Python 1.5 版本消除瞭 GIL，取代代之的是在可變數據結構上加上更細粒度的鎖，也提交瞭補丁用於去除對全局可變對象的依賴，然後在標準測試時表明去除 GIL 後單線程比不去除時慢瞭近 2 倍，測試的機器還是當時性能最好 Windows 機器。也就是說除去瞭 GIL 後，你使用 2 個 CPU 才能獲取比原來 1 個 CPU 稍微好一點的性能，這種提升明顯得不償失，Greg Stein 的嘗試也就失敗告終。

Python 之父 Guido van Rossum 也歡迎社區的志願者去嘗試去除 GIL，隻要不降低單線程的性能，但他也提到，去掉 GIL 不是一件容易的事。

Python 開發者郵件列表中也偶爾會有去除 GIL 的議題，但是以下需求必須滿足：

  • 簡單。從長遠來看該方案必須是可實施、可維護的。
  • 並發。去除 GIL 必須能提升多線程的性能。
  • 速度。去除 GIL 不能降低單線程的性能。
  • 滿足 CPython 的特性。該方案必須支持 CPython 的功能，比如 __del__ 和弱引用。
  • API 的兼容性。該方案應與所有現有CPython擴展使用的宏在源方面兼容。
  • 及時銷毀不可達對象，回收內存。
  • 有序銷毀，比如不可達對象 X 引用瞭 A，那麼應該在銷毀 A 之前先銷毀 X（有些垃圾回收算法並不能做到這一點）。

有些需求不容易被滿足，比如 4，5，7，目前，還沒有人滿足以上需求的同時去除 GIL 成功的。

積重難返

這些年 Python 實在太火瞭，很多優秀的庫都是基於 CPython 進行編寫的，很多都是 90 年代的 C 擴展庫，如果要除去 GIL，那麼很多基於 GIL 編寫的 C 擴展便無法使用，也就是去瞭 GIL，Python 生態有很多擴展或三方庫者無法使用。

還有一個很明顯的例子，Python 解釋器不止有 CPython，還有用 Java 編寫的 Python，.NET 實現的 IronPython，這些解釋器完全沒有 GIL，可是有多少人為它們編寫擴展呢？

Python 之所以如此火爆，與它有著豐富的三方庫開箱即用有著很大的關系，積重難返，去除 GIL 很困難。

為什麼 Python3 一開始時不去除 GIL

Python3 在最開始時是有機會實現很多新功能，在此過程中，打破瞭一些現有的 C 擴展，然後需要更新和移植更改以配合 Python 3，這也是 Python3 一開始不被社區所接受的原因。

與 Python2 相比，刪除 GIL 將使 Python3 在單線程性能方面更慢，而且很多優秀的擴展將不能再使用，如果真的這樣，可以想象 Python3 不可能有未來，最終的結果是 Python3 仍然保持有 GIL。

但 Python3 也為現有的 GIL 帶來瞭重大改進，在 Python 3.2 版本中，確保瞭計算密集型線程和 I/O 密集型線程並存時， I/O 密集型長期獲取不到 GIL 而無法執行的問題，提升瞭多線程的性能。

最後的話

Python 因為內存管理不是線程安全的，因此自出生起就自帶 GIL，然後很多擴展都是在 GIL 的保護下編寫的，時間一長積重難反，Python3 一開始也因去除 GIL 導致單線程性能下降的問題而保留 GIL，現在已經是 Python3.9 版本瞭，將來 Python 去除 GIL 的可能性微乎其微，換句話說，去除 GIL 的 Python 也就不是我們認識的 Python 瞭。

不過不必沮喪，GIL 影響的也僅僅是多線程執行計算密集型的任務罷瞭，這種場景大多數程序員都很少遇到，即使有，可以使用多進程來避免 GIL 的影響，或者使用其他編程語言實現，任何編程語言或技術都不是十全十美的，發揮所長是最重要的，即使有 GIL，我也不在乎，也會依然使用 Python。

以上就是Python與GIL互斥鎖關系分析的詳細內容，更多關於Python與GIL互斥鎖的資料請關註WalkonNet其它相關文章！

推薦閱讀：