淺談Python項目的服務器部署

關於Web服務器和應用服務器

基本概念：

• Web服務器主要功能就是存儲、處理、傳遞網頁，客戶端和服務器之間基於HTTP協議進行通信。
• 應用服務器主要是處理動態請求，調用相應的對象完成對請求的處理，返回響應的結果。

兩者之間的區別：

• Web服務器主要是以HTTP為核心，WEB UI為向導的應用，處理一些靜態請求。
• 應用服務器雖然也支持HTTP協議，但應用服務器可以通過很多協議為應用程序提供商業邏輯。

Python項目部署架構

在我們平時搭建一個Python Web項目時，比如Django框架的項目，這時候常見的服務端架構：

1. Nginx服務器作為代理服務器，代理處理靜態資源（js,css,圖片)請求，以及動態請求（增刪改查）轉發以及返回處理結果。
2. uWSGI服務器負責接受Nginx服務器，處理過後轉發給Django應用，接受Django應用處理返回的信息，在轉發給nginx
3. Django應用從uWSGI服務器接收請求，調用相應的業務邏輯，處理數據渲染相應的頁面並且返回給uWSGI服務器。

關於cgi、wsgi、uwsgi、http協議

接下來針對上文提到Django項目部署架構，聊聊這幾個協議在這過程中的作用：

1. http協議：客戶端程序和Nginx服務器通信就是基於http協議，而Nginx服務器作為一個代理服務器，會根據HTTP請求返回靜態資源還是轉發動態請求。
2. cgi協議：cgi協議是外部應用程序和Web服務器之間的接口標準，簡而言之，就是規定如何讓一個程序與Web服務器程序之間通信。
3. wsgi協議：基於現存的CGI標準設計，一個Python web框架編寫的應用程序和Web服務器之間通信的規范。
4. uwsgi：uWSGI服務器獨有的協議，用於uWSGI服務器和其他Web服務器之間的數據通信

關於cgi、fastcgi、php-fpm、FastCGI(額外)

1. CGI：是 Web Server 與 Web Application 之間數據交換的一種協議。
2. FastCGI：同 CGI，是一種通信協議，但比 CGI 在效率上做瞭一些優化。同樣，SCGI 協議與 FastCGI 類似。
3. PHP-CGI：是 PHP （Web Application）對 Web Server 提供的 CGI 協議的接口程序。
4. PHP-FPM：是 PHP（Web Application）對 Web Server 提供的 FastCGI 協議的接口程序，額外還提供瞭相對智能一些任務管理。

關於uWSGI、Nginx服務器

簡單來講，uWSGI也是一個Web服務器，他雖然同時實現瞭http、uwsgi、wsgi協議,但是更多被作為應用服務器和應用程序之間進行通信。
那麼這裡就有個疑問瞭，為什麼uWSGI都能直接處理http請求瞭，還需要Nginx服務器？這樣處理有幾點原因：

1. 首先Nginx服務器在這過程中屬於代理服務器的角色，每當一個http請求進來，就需要經過Nginx服務器，而Nginx服務器的優勢就在於異步非阻塞的網絡模型，它能夠在單線程的情況下處理大量的請求，針對處理靜態資源請求；而對於動態請求，能夠通過緩存的功能，並且配合CDN進行優化，這樣能夠極大降低系統的負載，降低客戶端響應時間。
2. 其次，Nginx服務器能夠進行負載均衡，啟用多個後端服務器，通過Nginx對HTTP請求進行分配，這樣能夠極大優化架構的效率，提高處理的性能。
3. 最後，Nginx有很多模塊支持一些比如白名單，黑名單功能，並且配合keepalive實現高可用的架構.

總而言之，Nginx服務器在處理http請求上，都有著uWSGI沒有的優勢，所以在日常部署環境中，經常會使用到Nginx+uWSGI。

uWSGI

安裝部署

uWSGI有兩種安裝方式，一種是通過pip安裝，一種是通過源碼安裝。這裡就簡單介紹pip安裝方式，源碼安裝有興趣可以私下自己瞭解。

pip install uwsgi

相關文件

uWSGI服務器在啟動的過程中主要涉及到以下這幾個文件，其中uwsgi.sock還會涉及到Nginx相關部署的問題，在Nginx配置的時候回繼續展開講。

(venv) [root@mbb-48 uwsgi]# tree .
.
|-- uwsgi.ini       # uwsgi配置文件
|-- uwsgi.log       # uwsgi日志文件
|-- uwsgi.pid       # uwsgi運行進程pid
|-- uwsgi.sock      # uwsgi socket
`-- uwsgi.status    # uwsgi狀態文件

配置示例

以下配置是自己一個項目中用到的，其中的配置參數都是比較常見通用。

[uwsgi]
chdir=/data/Novel/novel_test
module=novel_test.wsgi:application
home=/data/Novel/venv
static-map=/static=/data/Novel/novel_test/static
threads=8
http=0.0.0.0:23606
master=true
vacuum=true
thunder-lock=true
uid=root
gid=root
harakiri=30
post-buffering=4096
socket=%(chdir)/uwsgi/uwsgi.sock
stats=%(chdir)/uwsgi/uwsgi.status
pidfile=%(chdir)/uwsgi/uwsgi.pid
daemonize=%(chdir)/uwsgi/uwsgi.log

配置解析

• chdir: 定義項目的目錄
• module: 要使用的 WSGI 模塊，不同的Python web框架中使用方式也不太一樣。
• home: 指定Python執行環境，這個參數針對有不同Python運行環境，比如virtualenv創建獨立Python環境的情況。
• static-map: 映射靜態目錄
• threads: 線程數量
• http: 指定啟動地址和端口
• master: 啟用主進程
• vacuum: 退出時，清理產生的中間文件（sock,pid,stats)
• thunder-lock: 序列化接收的內容
• uid: 指定啟動用戶
• gid: 指定啟動組
• harakiri: 設置服務器響應時間
• post-buffering: 啟用緩沖
• socket: socket文件存放路徑
• stats： stats文件存放路徑
• pidfile: pid文件存放路徑
• daemonize: 日志文件輸出文件路徑

額外配置

• processes: 進程數量
• buffer-size: 設置緩沖大小
• listen: 設置監聽隊列大小（默認100）
• max-requests: 每個工作進程請求書的最高上限
• procname-prefix-spaced: 工作進程的前綴名
• wsgi-file: 指定加載WSGI文件

常用命令

上面介紹瞭相關常用的配置參數，當設置uWSGI參數後，需要啟動指定配置文件，以及有關暫停，重啟的動作。

uwsgi --ini uwsgi.ini   # 啟動uWSGI
uwsgi --stop uwsgi.pid  # 暫停uWSGI
uwsgi --reload uwsgi.pid    # 重啟uWSGI

服務監控

uWSGI之一Stats服務器機制，它能將uWSGI狀態作為一個JSON對象導出一個socket中，隻需要像我們前面配置uWSGI配置文件一樣，添加stats選項，跟著一個有效的socket地址接口。

當你配置完畢後，就可以通過客戶端連接到指定的socket地址，將會獲得一個包含uWSGI內部統計數據的JSON對象。

uwsgi --connect-and-read uwsgi.status

執行完這個命令後，讀取的返回的結果是一個json字符串，字符串中包括每個線程的狀態，整個應用的負載，版本，監聽隊列等詳細的信息。

uwsgitop查看實時狀態
uwsgitop是一個開源的實時監控uWSGI服務器狀態的工具，安裝也十分簡單：

pip install uwsgitop

具體uwsgitop像一個top命令，監聽應用程序並且使用socket地址進行調用，查看進程運行狀態，運行詳細信息：

uwsgitop uwsgi/uwsgi.status
uwsgi-2.0.19.1 - Sun Sep 20 15:58:48 2020 - req: 6 - RPS: 0 - lq: 0 - tx: 67.6K
node: mbb-48 - cwd: /data/Novel/novel_test - uid: 0 - gid: 0 - masterpid: 15109
 WID    %       PID     REQ     RPS     EXC     SIG     STATUS  AVG     RSS     VSZ     TX      ReSpwn  HC      RunT    LastSpwn
 1	100.0   15144   6	0	0	0	idle    15ms    0	0	67.6K   1	0	125.449 15:48:08
  :2    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :3    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :0    33.3    -	2	0	-	-	idle    -	-	-	-	-
  :1    33.3    -	2	0	-	-	idle    -	-	-	-	-

具體有興趣的同學可以參考github地址：

https://github.com/xrmx/uwsgitop

總結

關於uWSGI服務器相關使用就總結到這裡，因為在平時工作中會經常接觸到，但是由於沒有應用到一些高並發的場景，對於uwsgi調優方面沒有多少經驗，等待以後遇到此類問題再繼續總結性能調優方面的問題。同時有關Nginx方面的配置留到下一篇文章繼續講，未完待續。。。。。

以上就是淺談Python項目的服務器部署的詳細內容，更多關於python 服務器部署的資料請關註WalkonNet其它相關文章！

推薦閱讀：

• Python安裝和配置uWSGI的詳細過程
• uwsgi+nginx代理Django無法訪問靜態資源的解決
• centos+nginx+uwsgi部署django項目上線
• python web框架的總結
• 一文教會你用nginx+uwsgi部署自己的django項目