Python移動測試開發subprocess模塊項目實戰

一、背景

我們日常測試中存在大量重復的造數操作,且流程較長,為瞭提升測試效率,我們搭建瞭數據構造平臺。平臺采用瞭前端 + 腳本分離的形式,數據構造腳本獨立存在,頁面和腳本的關聯關系通過頁面配置進行綁定。

頁面配置中,包含瞭腳本的路徑以及啟動命令,因此,運行腳本的時候需要在服務器上啟動子進程中去執行腳本命令。為瞭能夠瞭解腳本的執行情況,還需要獲取腳本的執行狀態以及執行日志。

平臺後端語言是 Python,因此,選擇瞭 Python 中的 subprocess 模塊,本文重點闡述 subprocess 模塊在項目實戰中遇到的問題以及解決方案。

本文涉及的程序執行環境如下:

Python 版本:3.8.3

操作系統:windows server

二、subprocess 模塊基礎

subprocess 模塊允許我們啟動一個新進程,並連接到它們的輸入/輸出/錯誤管道,從而獲取返回值。subprocess 模塊首先推薦使用的是它的 run 方法,更高級的用法可以直接使用 Popen 接口。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的,用於可以接受等待進程執行結束後獲取返回值的場景,如果可以滿足使用需求,官方推薦使用 run() 方法。
subprocess.run() 的執行過程是同步的,腳本執行結束之前是阻塞的,隻有腳本結束之後才會返回 subprocess.CompletedProcess 對象。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心,子進程的創建和管理都靠它處理。Popen() 相當於 run() 的高級版本,更加靈活,使開發人員能夠處理 run() 方法未涵蓋的更豐富的場景。subprocess.Popen() 是異步的,進程啟動以後,我們可以通過預先指定好的 stdout 和 stderr 來實時讀取到子進程的輸出。

subprocess.Popen()常用參數介紹:

args:shell命令,可以是字符串或者序列類型(如:list,元組)

stdin, stdout, stderr:分別表示程序的標準輸入、輸出、錯誤句柄

shell:如果該參數為 True,將通過操作系統的 shell 執行指定的命令,args隻能是String類型的參數;該參數為False,args可以是序列類型。

Popen 對象常用方法:

poll(): 檢查進程是否終止,如果終止返回 returncode,否則返回 None,項目中通過該方法返回判斷進程是否執行結束。

wait(timeout): 等待子進程終止,如果進程執行時間較長,可以使用該方法來保證進程執行完整。

communicate(input,timeout): 和子進程交互,發送和讀取數據。

send_signal(singnal): 發送信號到子進程 。

terminate(): 停止子進程,也就是發送SIGTERM信號到子進程。

kill(): 殺死子進程。發送 SIGKILL 信號到子進程。

3. run 與 Popen 的同步/異步對比實驗

Run() 和 Popen() 同步/異步的簡單對比如下:

從執行結果可以看出,Popen 在子進程執行過程中就可以獲取到日志,run 需要等待進程執行完成才能獲取到日志。如果需要執行的命令耗時很短,可以選擇 run 方法。因為我們的數據構造流程通常比較長,需要實時獲取日志,所以選擇瞭 Popen。

三、遇到的問題與解決方案

在使用 Popen 的過程中也遇到瞭一些問題,下面將具體介紹一下遇到的問題以及解決方案。

如何保證獲取到完整的進程執行日志

subprocess.Popen() 可以獲取到執行過程中的日志瞭,那我們如何保證進程日志獲取的完整性呢?我們來看下具體方案:

方案一:這是我們最開始采用的方案。通過獲取方法 poll() 返回的狀態碼來檢查進程是否終止。如果終止,返回 returncode,否則返回 None,代碼如下:

該方案在使用的過程中存在問題。當子程序已經執行完畢,日志還沒有獲取完整,會出現日志接收不全的情況。為瞭解決這種問題,保證日志的完整性,我們選擇通過判斷日志是否讀取完畢作為判斷依據,詳細參見方案二。

方案二:通過判斷日志是否讀取完畢保證日志完整性。代碼如下:

這種方法看似解決瞭日志不全的問題,但是存在著一定的風險。日志為 None 無法有效保證子進程執行結束(雖然經過多方實踐,暫時沒有發現日志為 None 但腳本未執行結束的情況)。為瞭安全起見,我們還是需要兼顧一下進程的執行狀態,具體參見方案三。

方案三:通過判斷 poll() 返回狀態和日志返回值,也就是說,程序狀態結束且返回對象為空,才表示子進程已經執行結束,並且獲取到瞭完整的日志,代碼如下:

該方案已經比較完善瞭,通過子進程執行結束並且執行日志為 None,保證執行日志的完整性。美中不足的是,日志信息可能會比實際的多一些,當輸出先讀取完畢,子進程還沒有結束,我們會獲取到一部分空行,為瞭日志的美觀度,我們可以進一步優化,獲取日志的時候,過濾掉空行,代碼如下:

通過判斷輸出流和進程的執行狀態,完美的解決瞭上面的問題,保證瞭日志的完整性與正確性。

如何保證腳本進程正常終止 當腳本執行以後,我們可能會因為某些原因想終止腳本的運行,如參數錯誤等。 在我們項目代碼中,使用 Popen.terminate() 去終止進程的時候,發現命令隻終止瞭父進程,喚起的子進程仍然在執行。

為瞭找到原因,先看一下項目中創建 Popen 的代碼:

參數介紹的時候提到過,shell 為 True 或 False 時,command 的類型是有要求的。因為我們 command 傳值是 String 類型,參數 shell 隻能設置為 True。當 shell=True 的時,程序會創建一個 shell 進程,command 是 shell 進程的子進程。

我們再來看下 Popen.terminate() 做瞭什麼?官方的說明如下:

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

也就是說,在 POSIX 系統中,該方法會發送 SIGTERM 信號給子進程;

在 Windows 系統中,該方法會調用 Win32 提供的 API TerminateProcess() 方法。

原因很清晰瞭,當 shell=True 的時候,發送 SIGTERM 能夠殺死 shell 進程,但是無法殺死它的子進程(command);windows 系統中同理,TerminateProcess() 殺死瞭 shell 進程,卻沒有殺死它的子進程(command)。

解決方案如下:

方案一:比較優雅的方式,創建 Popen 對象時,將參數 shell 設為 False。實踐發現,當 shell=False 的時候,Popen.terminate() 方法的執行結果是符合預期的;

subprocess.Popen(command, shell=False)

前面提到過,因為 command 格式問題,在我們項目中,shell 隻能設置為 True,所以我們又探索瞭新的解決方案。

方案二:手動終止進程。使用第三方工具包 psutil,獲取全部的子進程並逐一殺掉,該方法在 Linux 和 windows 平臺通用。代碼見下圖。

在 windows 服務器下,還可以用以下命令:

taskkill /t /f /pid {pid},強制殺掉指定進程以及它的子進程。

windows 平臺的方案無需第三方依賴,所以我們項目中選擇瞭該方案,項目代碼如下:

以上就是 Python 中的 subprocess 模塊在我們項目實踐中遇到的問題以及解決方案,希望可以給大傢提供一些使用思路以及規避掉一系列問題,更多關於Python測試開發subprocess的資料請關註WalkonNet其它相關文章!

推薦閱讀: