python基於concurrent模塊實現多線程
引言
之前也寫過多線程的博客,用的是 threading ,今天來講下 python 的另外一個自帶庫 concurrent 。concurrent 是在 Python3.2 中引入的,隻用幾行代碼就可以編寫出線程池/進程池,並且計算型任務效率和 mutiprocessing.pool 提供的 poll 和 ThreadPoll 相比不分伯仲,而且在 IO 型任務由於引入瞭 Future 的概念效率要高數倍。而 threading 的話還要自己維護相關的隊列防止死鎖,代碼的可讀性也會下降,相反 concurrent 提供的線程池卻非常的便捷,不用自己操心死鎖以及編寫線程池代碼,由於異步的概念 IO 型任務也更有優勢。
concurrent 的確很好用,主要提供瞭 ThreadPoolExecutor 和 ProcessPoolExecutor 。一個多線程,一個多進程。但 concurrent 本質上都是對 threading 和 mutiprocessing 的封裝。看它的源碼可以知道,所以最底層並沒有異步。
ThreadPoolExecutor 自己提供瞭任務隊列,不需要自己寫瞭。而所謂的線程池,它隻是簡單的比較當前的 threads 數量和定義的 max_workers 的大小,小於 max_workers 就允許任務創建線程執行任務。
操作多線程/多進程
1、創建線程池
通過 ThreadPoolExecutor 類創建線程池對象,max_workers 設置最大運行線程數數。使用 ThreadPoolExecutor 的好處是不用擔心線程死鎖問題,讓多線程編程更簡潔。
from concurrent import futures pool = futures.ThreadPoolExecutor(max_workers = 2)
2、submit
submit(self, fn, *args, **kwargs):
- fn:需要異步執行的函數
- *args,**kwargs:fn 接受的參數
該方法的作用就是提交一個可執行的回調task,它返回一個Future對象。可以看出此方法不會阻塞主線程的執行。
import requests,datetime,time from concurrent import futures def get_request(url): r = requests.get(url) print('{}:{} {}'.format(datetime.datetime.now(),url,r.status_code)) urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com'] pool = futures.ThreadPoolExecutor(max_workers = 2) for url in urls: task = pool.submit(get_request,url) print('{}主線程'.format(datetime.datetime.now())) time.sleep(2) # 輸出結果 2021-03-12 15:29:10.780141:主線程 2021-03-12 15:29:10.865425:https://www.baidu.com 200 2021-03-12 15:29:10.923062:https://www.tmall.com 200 2021-03-12 15:29:10.940930:https://www.jd.com 200
3、map
map(self, fn, *iterables, timeout=None, chunksize=1):
- fn:需要異步執行的函數
- *iterables:可迭代對象
map 第二個參數是可迭代對象,比如 list、tuple 等,寫法相對簡單。map 方法也不會阻塞主線程的執行。
import requests,datetime,time from concurrent import futures def get_request(url): r = requests.get(url) print('{}:{} {}'.format(datetime.datetime.now(),url,r.status_code)) urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com'] pool = futures.ThreadPoolExecutor(max_workers = 2) tasks = pool.map(get_request,urls) print('{}:主線程'.format(datetime.datetime.now())) time.sleep(2) # 輸出結果 2021-03-12 16:14:04.854452:主線程 2021-03-12 16:14:04.938870:https://www.baidu.com 200 2021-03-12 16:14:05.033849:https://www.jd.com 200 2021-03-12 16:14:05.048952:https://www.tmall.com 200
4、wait
如果要等待子線程執行完之後再執行主線程要怎麼辦呢,可以通過 wait 。
wait(fs, timeout=None, return_when=ALL_COMPLETED):
- fs:所有任務 tasks
- return_when:有三個參數 FIRST_COMPLETED:隻要有一個子線程完成則返回結果。 FIRST_EXCEPTION:隻要有一個子線程拋異常則返回結果,若沒有異常則等同於ALL_COMPLETED。 ALL_COMPLETED:默認參數,等待所有子線程完成。
import requests,datetime,time from concurrent import futures def get_request(url): r = requests.get(url) print('{}:{} {}'.format(datetime.datetime.now(),url,r.status_code)) urls = ['https://www.baidu.com','https://www.tmall.com','https://www.jd.com'] pool = futures.ThreadPoolExecutor(max_workers = 2) tasks =[] for url in urls: task = pool.submit(get_request,url) tasks.append(task) futures.wait(tasks) print('{}:主線程'.format(datetime.datetime.now())) time.sleep(2) # 輸出結果 2021-03-12 16:30:13.437042:https://www.baidu.com 200 2021-03-12 16:30:13.552700:https://www.jd.com 200 2021-03-12 16:30:14.117325:https://www.tmall.com 200 2021-03-12 16:30:14.118284:主線程
5、異常處理
as_completed(fs, timeout=None)
- 所有任務 tasks
使用 concurrent.futures 操作 多線程/多進程 過程中,很多函數報錯並不會直接終止程序,而是什麼都沒發生。使用 as_completed 可以捕獲異常,代碼如下
import requests,datetime,time from concurrent import futures def get_request(url): r = requests.get(url) print('{}:{} {}'.format(datetime.datetime.now(),url,r.status_code)) urls = ['www.baidu.com','https://www.tmall.com','https://www.jd.com'] # 創建線程池 pool = futures.ThreadPoolExecutor(max_workers = 2) tasks =[] for url in urls: task = pool.submit(get_request,url) tasks.append(task) # 異常捕獲 errors = futures.as_completed(tasks) for error in errors: # error.result() 等待子線程都完成,並拋出異常,中斷主線程 # 捕獲子線程異常,不會終止主線程繼續運行 print(error.exception()) futures.wait(tasks) print('{}:主線程'.format(datetime.datetime.now())) time.sleep(2) # 輸出結果 Invalid URL 'www.baidu.com': No schema supplied. Perhaps you meant http://www.baidu.com? 2021-03-12 17:24:26.984933:https://www.tmall.com 200 None 2021-03-12 17:24:26.993939:https://www.jd.com 200 None 2021-03-12 17:24:26.994937:主線程
多進程編程也類似,將 ThreadPoolExecutor 替換成 ProcessPoolExecutor 。
以上就是python基於concurrent模塊實現多線程的詳細內容,更多關於python concurrent實現多線程的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- None Found