Python+Pytest實現壓力測試詳解
在現代Web應用程序中,性能是至關重要的。為瞭確保應用程序能夠在高負載下正常運行,我們需要進行性能測試。 今天,應小夥伴的提問, 田辛老師來寫一個Pytest進行壓力測試的簡單案例。 這個案例的測試網站我們就隱藏瞭,不過網站的基本情況是:
- 阿裡
- 框架:FastAdmin.net
1.程序說明
1.1 設置測試參數
首先,田辛老師做的第一件事情就是設置測試參數。代碼如下
# 定義測試用例 def test_performance(): # 設置測試參數 url = 'http://www.a.com/' num_threads = 20 num_requests = 200 timeout = 5
這裡面,田老師設置瞭網站的URL, 線程數, 每個線程的請求次數,以及超時時間。 可以看到, 這裡面田老師一共會做4000次請求。
1.2 初始化測試結果
這段代碼我想不需要田老師多講, 這裡做一個提示:註意縮進, 這段代碼仍然在測試用例test_performance內。
# 初始化測試結果 response_times = [] errors = 0 successes = 0
1.3 定義測試函數
接下來, 田老師定義瞭一個內部函數。這個函數就是在某一線程內完成設定次數的請求。
# 定義測試函數 def test_func(): nonlocal errors, successes for _ in range(num_requests): try: start_time = time.time() requests.get(url, timeout=timeout) end_time = time.time() response_time = end_time - start_time response_times.append(response_time) successes += 1 except requests.exceptions.RequestException: errors += 1
1.4 創建線程、執行線程、等待
# 創建測試線程 threads = [] for _ in range(num_threads): t = threading.Thread(target=test_func) threads.append(t) # 啟動測試線程 for t in threads: t.start() # 等待測試線程結束 for t in threads: t.join()
1.5 計算測試結果
# 計算測試結果 total_requests = num_threads * num_requests throughput = successes / (sum(response_times) or 1) concurrency = num_threads error_rate = errors / (total_requests or 1) cpu_usage = psutil.cpu_percent() memory_usage = psutil.virtual_memory().percent
1.6 將測試結果寫入文件
# 將測試結果寫入文件 with open('performance_test_result.txt', 'w') as f: f.write(f'總請求數:{total_requests}\n') f.write(f'總時間:{sum(response_times):.2f}s\n') f.write(f'吞吐量:{throughput:.2f} requests/s\n') f.write(f'並發數:{concurrency}\n') f.write(f'錯誤率:{error_rate:.2%}\n') f.write(f'CPU利用率:{cpu_usage:.2f}%\n') f.write(f'內存利用率:{memory_usage:.2f}%\n')
2.程序執行
2.1 直接執行
在PyCharm裡面直接執行這段代碼, 得出的結果是:
總請求數:4000
總時間:1837.65s
吞吐量:2.17 requests/s
並發數:20
錯誤率:0.12%
CPU利用率:4.10%
內存利用率:88.60%
2.2 加個裝飾器然後出報告
如果在PyCharm裡面直接執行上面的代碼, 雖然我們把結果寫在文件中,但是, 不好看呀。
所以呢,田老師再額外介紹一個方法,這個方法能夠生成一個相對美觀的測試報告出來。
2.2.1 聲明壓力測試
首先在定義用例的時候通過裝飾器聲明這是一個壓力測試:
# 定義測試用例 @pytest.mark.performance def test_performance(): # 設置測試參數 url = 'http://www.a.biz/' num_threads = 20
2.2.2 在命令行中通過pytest命令執行測試
第二步, 在命令行中執行測試
- -v 用於顯示詳細的測試結果
- –html 用於指定輸出報告的位置。 這個參數需要依賴包:pytest-html
$ pytest -v –html=report.html test_a.py
輸出執行結果是:
======================== test session starts =================================
platform win32 — Python 3.10.9, pytest-7.2.1, pluggy-1.0.0 — D:\python-grp\miniconda_env\py3.10_playwright\python.exe
cachedir: .pytest_cache
metadata: {'Python': '3.10.9', 'Platform': 'Windows-10-10.0.22624-SP0', 'Packages': {'pytest': '7.2.1', 'pluggy': '1.0.0'}, 'Plugins': {'allure-pytest': '2.12.0', 'base-url': '2.0.0', 'html': '3.2.0', 'metadata': '2.0.4', 'ordering': '0.6', 'playwright': '0.3.0'}, 'JAVA_HOME': 'D:\\java-grp\\jdk\\', 'Base URL': ''}
rootdir: E:\develop\python\pytest-training\test
plugins: allure-pytest-2.12.0, base-url-2.0.0, html-3.2.0, metadata-2.0.4, ordering-0.6, playwright-0.3.0
collected 1 itemtest_a.py::test_performance PASSED [100%]
========================== warnings summary =================================
test_a.py:25
E:\develop\python\pytest-training\test\test_a.py:25: PytestUnknownMarkWarning: Unknown pytest.mark.performance – is this a typo? You can register custom marks to avoid this warning – for details, see https://docs.pytest.org/en/stable/how-to/mark.html
@pytest.mark.performance— Docs: https://docs.pytest.org/en/stable/how-to/capture-warnings.html
— generated html file: file:///E:/develop/python/pytest-training/test/report.html —
================= 1 passed, 1 warning in 99.09s (0:01:39) ===================(D:\python-grp\miniconda_env\py3.10_playwright) E:\develop\python\pytest-training\test>
最終生成的報告是:(有點長, 截取瞭關鍵部分)
3.案例缺陷
因為時間關系, 本案例今天沒有時間在服務器端執行, 所以通過psutil庫所取得CPU利用率和內存利用率時間並不對。 如果是在服務器端執行, 這兩個數字才是對的。
如果要在本地獲取服務器的CPU,內存,IO等情況,有一個監控神器:Prometheus。不過這東西配置起來又是另一個話題, 且聽後話~哈哈(55555, 好像,又刨瞭一個坑)
4 完整源碼
#!/usr/bin/env python # -*- coding:utf-8 -*- """ #----------------------------------------------------------------------------- # --- TDOUYA STUDIOS --- #----------------------------------------------------------------------------- # # @Project : pytest-training # @File : test_a.py # @Author : [email protected] # @Date : 2023/3/10 14:39 # # 壓力測試案例 # #--------------------------------------------------------------------------""" import threading import time import psutil import pytest import requests # 定義測試用例 @pytest.mark.performance def test_performance(): # 設置測試參數 url = 'http://www.tdouya.biz/' num_threads = 20 num_requests = 200 timeout = 5 # 初始化測試結果 response_times = [] errors = 0 successes = 0 # 定義測試函數 def test_func(): nonlocal errors, successes for _ in range(num_requests): try: start_time = time.time() requests.get(url, timeout=timeout) end_time = time.time() response_time = end_time - start_time response_times.append(response_time) successes += 1 except requests.exceptions.RequestException: errors += 1 # 創建測試線程 threads = [] for _ in range(num_threads): t = threading.Thread(target=test_func) threads.append(t) # 啟動測試線程 for t in threads: t.start() # 等待測試線程結束 for t in threads: t.join() # 計算測試結果 total_requests = num_threads * num_requests throughput = successes / (sum(response_times) or 1) concurrency = num_threads error_rate = errors / (total_requests or 1) cpu_usage = psutil.cpu_percent() memory_usage = psutil.virtual_memory().percent # 輸出測試結果 print(f'總請求數:{total_requests}') print(f'總時間:{sum(response_times):.2f}s') print(f'吞吐量:{throughput:.2f} requests/s') print(f'並發數:{concurrency}') print(f'錯誤率:{error_rate:.2%}') print(f'CPU利用率:{cpu_usage:.2f}%') print(f'內存利用率:{memory_usage:.2f}%') # 將測試結果寫入文件 with open('performance_test_result.txt', 'w') as f: f.write(f'總請求數:{total_requests}\n') f.write(f'總時間:{sum(response_times):.2f}s\n') f.write(f'吞吐量:{throughput:.2f} requests/s\n') f.write(f'並發數:{concurrency}\n') f.write(f'錯誤率:{error_rate:.2%}\n') f.write(f'CPU利用率:{cpu_usage:.2f}%\n') f.write(f'內存利用率:{memory_usage:.2f}%\n')
到此這篇關於Python+Pytest實現壓力測試詳解的文章就介紹到這瞭,更多相關Python Pytest壓力測試內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Python使用psutil庫對系統數據進行采集監控的方法
- Python 如何查看程序內存占用情況
- Python使用psutil獲取系統信息
- Python測試框架pytest介紹
- 分享3個非常實用的 Python 模塊