python中multiprosessing模塊的Pool類中的apply函數和apply_async函數的區別

Posted on by

1、二者的區別

apply(): 

  • 非異步(子進程不是同時執行的)，堵塞主進程。
  • 它的非異步體現在：一個一個按順序執行子進程, 子進程不是同時執行的。
  • 它的堵塞體現在：等到全部子進程都執行完畢後，繼續執行apply()後面主進程的代碼。

apply_async()：

  • 異步的，不堵塞主進程。
  • 它的異步體現在：子進程之間是同時執行的。子進程被分配到不同的cpu上被執行。
  • 它的非堵塞體現在：他不會等待子進程完全執行完畢, 主進程會繼續執行, 他會根據系統調度來進行進程之間的切換。如果想堵塞主要進程，需要用.join()函數來堵塞主進程。

2、apply()

import time
import multiprocessing
def doIt(num):
    print("Process num is : %s" % num)
    time.sleep(1)
    print('process  %s end' % num)

if __name__ == '__main__':
    print('mainProcess start')

    #記錄一下開始執行的時間
    start_time = time.time()
    # 創建一個進程池，允許最多可以有3個子進程可以同時執行。
    pool = multiprocessing.Pool(3)

    print('Child start')
    for i in range(3):
         pool.apply(doIt,[i])
    print('mainProcess done time:%s s' % (time.time() - start_time))

結果如下所示：

從結果中我們可以看到，主進程開始執行之後, 創建的三個子進程也隨即開始執行, 後面的主進程被阻塞。而且三個子進程是一個接一個按順序地執行, 等到子進程全部執行完畢之後, 後面的主進程才會繼續執行, 打印出最後一句。所以，apply()函數果然是可以堵塞主進程，而且是非異步的。

3、apply_async()

顧名思義，async就是異步的意思。接下來是使用apply_async(), 隻需要把上面的代碼使用 apply()的地方改成apply_async() 即可, 代碼不再貼上
我們來看看運行結果, 可以看出來, 截圖的第一句是上一個程序（也就是apply()函數）的執行消耗時間, 
最後一句是使用apply_async()所消耗的時間, 在這裡, 主進程沒有被阻塞, 驗證瞭apply_async()是非阻塞主進程的, 子進程沒有執行, 驗證瞭他是根據系統調度完成的,

為什麼會這樣呢?

原因是, 進程的切換時操作系統控制的, 我們首先運行的是主進程, 而CPU運行得又很快, 快到還沒等系統調度到子線程, 主進程就已經運行完畢瞭, 並且退出程序. 所以子進程就沒有運行瞭.

那麼我們在使用apply_async()函數是不是就不能執行子進程呢？肯定可以啊！！！小老弟，想啥呢？？還記得join()的作用嗎？他可以阻塞主進程, 等待所有子進程結束之後再運行,join()就是告訴主進程老子要運行子進程瞭，你先等等。 

import time
import multiprocessing

def doIt(num):
    print("Process num is : %s" % num)
    time.sleep(1)
    print('process  %s end' % num)
if __name__ == '__main__':
    print('mainProcess start')

    #記錄一下開始執行的時間
    start_time = time.time()
    # 創建一個進程池，最大允許3個子進程同時執行。
    pool = multiprocessing.Pool(3)
    print('Child start')
    for i in range(3):
        pool.apply_async(doIt,[i])
    pool.close()
    pool.join()
    print('mainProcess done time:%s s' % (time.time() - start_time))

結果如下所示：

我們看看加入這兩句的運行結果, 我們可以看到即使是使用瞭非阻塞主進程的apply_async() 也能讓子進程運行完畢之後再執行主進程瞭。
CPU在執行第一個子進程的時候, 還沒等第一個子進程結束, 系統調度到瞭按順序調度到瞭第二個子進程, 以此類推, 一直調度運行子進程, 一個接一個地結束子進程的運行, 最後運行主進程, 而且我們可以看到使用apply_async()的執行效力會更高,看一下他們各自執行結果最後一句的執行消耗時間就知道瞭, 這也是官方推薦我們使用apply_async()的主要原因吧

到此這篇關於python中multiprosessing模塊的Pool()類中的apply()函數和apply_async()函數的區別的文章就介紹到這瞭,更多相關python multiprosessing內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：