Python中gevent模塊協程使用

Posted on by

背景

因為 Python 線程的性能問題，在 Python 中使用多線程運行代碼經常不能達到預期的效果。而實際開發中我們經常有高並發的需求，這就要求我們的代碼在跑的更快的同時需要單位時間內執行更多的有效邏輯、減少無用的等待。

什麼是協程？

我們可以認為線程是輕量級的進程，所以你也可以理解協程是輕量級的線程。協程即在一個線程執行 A 函數時可以隨時中斷去執行 B 函數，可以自由切換。但這個過程並不是函數調用，現象和多線程一樣，實際上是一個線程。其中 gevent 是 Python 協程的一個經典實現。

什麼是 gevent？

gevent 是 Python 的一個並發框架，基於 greenlet 實現，使用瞭 epoll 事件監聽機制以及諸多其他優化而變得高效。其基本思想就是一個 greenlet 就是一個協程，當 greenlet 遇到 IO 操作時，比如訪問網絡，就會自動切換到其他的 greenlet，等待 IO 完成再切換回來繼續執行。gevent 可以幫我們自動實現這個協程切換的過程。

協程的例子

代碼： 

import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 此處阻塞，gevent會幫我們切換到其他協程去↓
        gevent.sleep(0)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 此處阻塞，gevent會幫我們切換到其他協程去↑
        gevent.sleep(0)

# 創建兩個協程對象，分別去執行兩個函數
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 將協程們交給gevent去執行
gevent.joinall([xc1,xc2])

執行結果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上，當 gevent 幫我們執行兩個協程的時候，首先 xc1 執行到 gevent.sleep(0)時發生阻塞，此時，gevent 幫我們將切換到xc2，xc2 執行到 gevent.sleep(0)時又發生瞭阻塞，此時，gevent 又幫我們將切換到 xc1 去執行。

Q&A

Q：gevent 無法捕獲的耗時

代碼： 

import gevent,time

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 註意這裡
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 註意這裡
        time.sleep(0.1)

# 創建兩個協程對象，分別去執行兩個函數
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 將協程們交給gevent去執行
gevent.joinall([xc1,xc2])

執行結果：

function:@@@f1 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上，你會發現，time.sleep(0.1)耗費的時間，gevent 無法捕捉，導致代碼是串行的，雖然我們創建瞭協程，但是並沒有起到異步的作用。
怎麼辦呢？請看下面的解決方案。

A：猴子補丁

對於無法捕獲的耗時，gevent 為我們提供瞭猴子補丁，當我們為我們的程序打瞭猴子補丁，那麼當我們的程序遇到任何耗時的操作，gevent 都會幫我們去自動切換協程，從而實現異步高並發。

代碼： 

import gevent,time
from gevent import monkey;monkey.patch_all()

def f1():
    for i in range(5):
        print('function:@@@f1 | NUM: @@@',i)

        # 註意這裡
        time.sleep(0.1)

def f2():
    for i in range(5):
        print('function:@@@f2 | NUM: @@@',i)

        # 註意這裡
        time.sleep(0.1)

# 創建兩個協程對象，分別去執行兩個函數
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 將協程們交給gevent去執行
gevent.joinall([xc1,xc2])

執行結果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 2
function:@@@f1 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 4

如上，你會發現協程的切換已經實現，問題完美解決。

實踐

異步 requests 請求

代碼： 

from gevent import monkey;monkey.patch_all()
import gevent,time,requests
from urllib3 import disable_warnings

disable_warnings()

def req(url):
    res = requests.get(url,verify=False)
    if res:
        print('URL:{} | CODE:{}!'.format(url,res.status_code))
    else:
        print('URL:{} FAILED!')

xc1=gevent.spawn(req,'https://www.baidu.com')
xc2=gevent.spawn(req,'https://www.gitee.com')
xc3=gevent.spawn(req,'https://www.huaweicloud.com')

gevent.joinall([xc1,xc2,xc3])

執行結果：

URL:https://www.baidu.com | CODE:200!
URL:https://www.huaweicloud.com | CODE:200!
URL:https://www.gitee.com | CODE:200!

gevent 的鎖

代碼： 

from gevent import monkey;monkey.patch_all()
from gevent.lock import Semaphore
import gevent,time

# 信號量設置為1
s1=Semaphore(1)

def f1():
    for i in range(5):
        # 信號量-1，即拿到鎖
        s1.acquire()
        print('function:@@@f1 | NUM: @@@',i)

        # 信號量+1，即釋放鎖
        s1.release()

        # 猴子補丁幫忙識別阻塞
        time.sleep(0.1)

def f2():
    for i in range(5):
        # 信號量-1，即拿到鎖
        s1.acquire()
        print('function:@@@f2 | NUM: @@@',i)

        # 信號量+1，即釋放鎖
        s1.release()

        # 猴子補丁幫忙識別阻塞
        time.sleep(0.3)

# 創建兩個協程對象，分別去執行兩個函數
xc1=gevent.spawn(f1)
xc2=gevent.spawn(f2)

# 將協程們交給gevent去執行
gevent.joinall([xc1,xc2])

執行結果：

function:@@@f1 | NUM: @@@ 0
function:@@@f2 | NUM: @@@ 0
function:@@@f1 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 1
function:@@@f1 | NUM: @@@ 3
function:@@@f1 | NUM: @@@ 4
function:@@@f2 | NUM: @@@ 2
function:@@@f2 | NUM: @@@ 3
function:@@@f2 | NUM: @@@ 4

如上，可以看到，gevent 可以自動處理鎖和阻塞。按阻塞規律，f1 和 f2 會交替執行，但是加上阻塞時間，因為 f2 的阻塞時間是 f1 的 3 倍，所以前 6 條打印中，f1 執行的次數是 f2 的三倍，即 gevent 可以自動判斷和處理阻塞和鎖同時存在的情況。

Tip

在 HTTP 的異步開發中，猴子補丁要在導入 gevent 之前打，否則會出現異常。

到此這篇關於Python中gevent模塊協程使用的文章就介紹到這瞭,更多相關Python gevent協程內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：