Python移動測試開發subprocess模塊項目實戰

Posted on by

一、背景

我們日常測試中存在大量重復的造數操作，且流程較長，為瞭提升測試效率，我們搭建瞭數據構造平臺。平臺采用瞭前端 + 腳本分離的形式，數據構造腳本獨立存在，頁面和腳本的關聯關系通過頁面配置進行綁定。

頁面配置中，包含瞭腳本的路徑以及啟動命令，因此，運行腳本的時候需要在服務器上啟動子進程中去執行腳本命令。為瞭能夠瞭解腳本的執行情況，還需要獲取腳本的執行狀態以及執行日志。

平臺後端語言是 Python，因此，選擇瞭 Python 中的 subprocess 模塊，本文重點闡述 subprocess 模塊在項目實戰中遇到的問題以及解決方案。

本文涉及的程序執行環境如下：

Python 版本：3.8.3

操作系統：windows server

二、subprocess 模塊基礎

subprocess 模塊允許我們啟動一個新進程，並連接到它們的輸入/輸出/錯誤管道，從而獲取返回值。subprocess 模塊首先推薦使用的是它的 run 方法，更高級的用法可以直接使用 Popen 接口。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的，用於可以接受等待進程執行結束後獲取返回值的場景，如果可以滿足使用需求，官方推薦使用 run() 方法。
subprocess.run() 的執行過程是同步的，腳本執行結束之前是阻塞的，隻有腳本結束之後才會返回 subprocess.CompletedProcess 對象。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心，子進程的創建和管理都靠它處理。Popen() 相當於 run() 的高級版本，更加靈活，使開發人員能夠處理 run() 方法未涵蓋的更豐富的場景。subprocess.Popen() 是異步的，進程啟動以後，我們可以通過預先指定好的 stdout 和 stderr 來實時讀取到子進程的輸出。

subprocess.Popen（）常用參數介紹：

args：shell命令，可以是字符串或者序列類型（如：list，元組）

stdin, stdout, stderr：分別表示程序的標準輸入、輸出、錯誤句柄

shell：如果該參數為 True，將通過操作系統的 shell 執行指定的命令，args隻能是String類型的參數；該參數為False，args可以是序列類型。

Popen 對象常用方法：

poll(): 檢查進程是否終止，如果終止返回 returncode，否則返回 None,項目中通過該方法返回判斷進程是否執行結束。

wait(timeout): 等待子進程終止，如果進程執行時間較長，可以使用該方法來保證進程執行完整。

communicate(input,timeout): 和子進程交互，發送和讀取數據。

send_signal(singnal): 發送信號到子進程 。

terminate(): 停止子進程,也就是發送SIGTERM信號到子進程。

kill(): 殺死子進程。發送 SIGKILL 信號到子進程。

3. run 與 Popen 的同步/異步對比實驗

Run() 和 Popen() 同步/異步的簡單對比如下：

從執行結果可以看出，Popen 在子進程執行過程中就可以獲取到日志，run 需要等待進程執行完成才能獲取到日志。如果需要執行的命令耗時很短，可以選擇 run 方法。因為我們的數據構造流程通常比較長，需要實時獲取日志，所以選擇瞭 Popen。

三、遇到的問題與解決方案

在使用 Popen 的過程中也遇到瞭一些問題，下面將具體介紹一下遇到的問題以及解決方案。

如何保證獲取到完整的進程執行日志

subprocess.Popen() 可以獲取到執行過程中的日志瞭，那我們如何保證進程日志獲取的完整性呢？我們來看下具體方案：

方案一：這是我們最開始采用的方案。通過獲取方法 poll() 返回的狀態碼來檢查進程是否終止。如果終止，返回 returncode，否則返回 None，代碼如下：

該方案在使用的過程中存在問題。當子程序已經執行完畢，日志還沒有獲取完整，會出現日志接收不全的情況。為瞭解決這種問題，保證日志的完整性，我們選擇通過判斷日志是否讀取完畢作為判斷依據，詳細參見方案二。

方案二：通過判斷日志是否讀取完畢保證日志完整性。代碼如下：

這種方法看似解決瞭日志不全的問題，但是存在著一定的風險。日志為 None 無法有效保證子進程執行結束（雖然經過多方實踐，暫時沒有發現日志為 None 但腳本未執行結束的情況）。為瞭安全起見，我們還是需要兼顧一下進程的執行狀態，具體參見方案三。

方案三：通過判斷 poll() 返回狀態和日志返回值，也就是說，程序狀態結束且返回對象為空，才表示子進程已經執行結束，並且獲取到瞭完整的日志，代碼如下：

該方案已經比較完善瞭，通過子進程執行結束並且執行日志為 None，保證執行日志的完整性。美中不足的是，日志信息可能會比實際的多一些，當輸出先讀取完畢，子進程還沒有結束，我們會獲取到一部分空行，為瞭日志的美觀度，我們可以進一步優化，獲取日志的時候，過濾掉空行，代碼如下：

通過判斷輸出流和進程的執行狀態，完美的解決瞭上面的問題，保證瞭日志的完整性與正確性。

如何保證腳本進程正常終止 當腳本執行以後，我們可能會因為某些原因想終止腳本的運行，如參數錯誤等。 在我們項目代碼中，使用 Popen.terminate() 去終止進程的時候，發現命令隻終止瞭父進程，喚起的子進程仍然在執行。

為瞭找到原因，先看一下項目中創建 Popen 的代碼：

參數介紹的時候提到過，shell 為 True 或 False 時，command 的類型是有要求的。因為我們 command 傳值是 String 類型，參數 shell 隻能設置為 True。當 shell=True 的時，程序會創建一個 shell 進程，command 是 shell 進程的子進程。

我們再來看下 Popen.terminate() 做瞭什麼？官方的說明如下：

Stop the child. On POSIX OSs the method sends SIGTERM to the child. On Windows the Win32 API function TerminateProcess()is called to stop the child

也就是說，在 POSIX 系統中，該方法會發送 SIGTERM 信號給子進程；

在 Windows 系統中，該方法會調用 Win32 提供的 API TerminateProcess() 方法。

原因很清晰瞭，當 shell=True 的時候，發送 SIGTERM 能夠殺死 shell 進程，但是無法殺死它的子進程（command）；windows 系統中同理，TerminateProcess() 殺死瞭 shell 進程，卻沒有殺死它的子進程（command）。

解決方案如下：

方案一：比較優雅的方式，創建 Popen 對象時，將參數 shell 設為 False。實踐發現，當 shell=False 的時候，Popen.terminate() 方法的執行結果是符合預期的；

subprocess.Popen(command, shell=False)

前面提到過，因為 command 格式問題，在我們項目中，shell 隻能設置為 True，所以我們又探索瞭新的解決方案。

方案二：手動終止進程。使用第三方工具包 psutil，獲取全部的子進程並逐一殺掉，該方法在 Linux 和 windows 平臺通用。代碼見下圖。

在 windows 服務器下，還可以用以下命令：

taskkill /t /f /pid {pid}，強制殺掉指定進程以及它的子進程。

windows 平臺的方案無需第三方依賴，所以我們項目中選擇瞭該方案，項目代碼如下：

以上就是 Python 中的 subprocess 模塊在我們項目實踐中遇到的問題以及解決方案，希望可以給大傢提供一些使用思路以及規避掉一系列問題，更多關於Python測試開發subprocess的資料請關註WalkonNet其它相關文章！

推薦閱讀：