教你用PyTorch部署模型的方法
導讀
演示瞭使用PyTorch最近發佈的新工具torchserve來進行PyTorch模型的部署。
最近,PyTorch推出瞭名為torchserve.
的新生產框架來為模型提供服務。我們看一下今天的roadmap:
1、使用Docker安裝
2、導出模型
3、定義handler
4、保存模型
為瞭展示torchserve,我們將提供一個經過全面訓練的ResNet34進行圖像分類的服務。
使用Docker安裝
官方文檔:https://github.com/pytorch/serve/blob/master/README.md##install-torchserve
安裝torchserve最好的方法是使用docker。你隻需要把鏡像拉下來。
可以使用以下命令保存最新的鏡像。
docker pull pytorch/torchserve:latest
所有可用的tags:https://hub.docker.com/r/pytorch/torchserve/tags
關於docker和torchserve的更多信息:https://github.com/pytorch/serve#quick-start-with-docker
Handlers
官方文檔:https://github.com/pytorch/serve/blob/master/docs/custom_service.md
處理程序負責使用模型對一個或多個HTTP請求進行預測。
默認 handlers
Torchserve支持以下默認 handlers
image_classifier
object_detector
text_classifier
image_segmenter
但是請記住,它們都不支持batching請求!
自定義 handlers
torchserve提供瞭一個豐富的接口,可以做幾乎所有你想做的事情。一個Handler
是一個必須有三個函數的類。
- preprocess
- inference
- postprocess
你可以創建你自己的類或者子類BaseHandler
。子類化BaseHandler
的主要優點是可以在self.model
上訪問加載的模型。下面的代碼片段展示瞭如何子類化BaseHandler
。
子類化BaseHandler以創建自己的handler
回到圖像分類的例子。我們需要
- 從每個請求中獲取圖像並對其進行預處理
- 從模型中得到預測
- 發送回一個響應
預處理
.preprocess
函數接受請求數組。假設我們正在向服務器發送一個圖像,可以從請求的data
或body
字段訪問序列化的圖像。因此,我們可以遍歷所有請求並單獨預處理每個圖像。完整的代碼如下所示。
預處理每個請求中的每個圖像
self.transform
是我們的預處理變換,沒什麼花哨的。對於在ImageNet上訓練的模型來說,這是一個經典的預處理步驟。
我們的transform
在我們對每個請求中的每個圖像進行預處理之後,我們將它們連接起來創建一個pytorch張量。
推理
在模型上進行推理
這一步很簡單,我們從 .preprocess
得到張量。然後對每幅圖像提取預測結果。
後處理
現在我們有瞭對每個圖像的預測,我們需要向客戶返回一些內容。Torchserve總是返回一個數組。BaseHandler
也會自動打開一個.json
文件帶有index -> label
的映射(稍後我們將看到如何提供這樣的文件),並將其存儲self.mapping
中。我們可以為每個預測返回一個字典數組,其中包含label
和index
的類別。
把所有的東西打包到一起,我們的handler是這樣的:
因為所有的處理邏輯都封裝在一個類中,所以你可以輕松地對它進行單元測試!
導出你的模型
官方文檔:https://github.com/pytorch/serve/tree/master/model-archiver#creating-a-model-archive
Torchserve 需要提供一個.mar
文件,簡而言之,該文件隻是把你的模型和所有依賴打包在一起。要進行打包,首先需要導出經過訓練的模型。
導出模型
有三種方法可以導出torchserve的模型。到目前為止,我發現的最好的方法是trace
模型並存儲結果。這樣我們就不需要向torchserve添加任何額外的文件。
讓我們來看一個例子,我們將部署一個經過充分訓練的ResNet34模型。
按照順序,我們:
- 加載模型
- 創建一個dummy輸入
- 使用
torch.jit.trace
來trace模型的輸入 - 保存模型
創建 .mar 文件
官方文檔:https://github.com/pytorch/serve/blob/master/model-archiver/README.md
你需要安裝torch-model-archiver
git clone https://github.com/pytorch/serve.git cd serve/model-archiver pip install .
然後,我們準備好通過使用下面的命令來創建.mar
文件。
torch-model-archiver --model-name resnet34 \--version 1.0 \--serialized-file resnet34.pt \--extra-files ./index_to_name.json,./MyHandler.py \--handler my_handler.py \--export-path model-store -f
按照順序。變量--model-name
定義瞭模型的最終名稱。這是非常重要的,因為它將是endpoint的名稱空間,負責進行預測。你還可以指定一個--version
。--serialized-file
指向我們之前創建的存儲的 .pt
模型。--handler
是一個python文件,我們在其中調用我們的自定義handler。一般來說,是這樣的:
my_handler.py
它暴露瞭一個handle
函數,我們從該函數調用自定義handler中的方法。你可以使用默認名稱來使用默認handler(例如,--handler image_classifier
)。
在--extra-files
中,你需要將路徑傳遞給你的handlers正在使用的所有文件。在本例中,我們必須向.json
文件中添加路徑。使用所有人類可讀標簽名稱,並在MyHandler.py
中定義每個類別。
如果你傳遞一個index_to_name.json
文件,它將自動加載到handler ,並通過self.mapping
訪問。
--export-path
就是 .mar
存放的地方,我還添加瞭-f
來覆蓋原有的文件。
如果一切順利的話,你可以看到resnet34.mar
存放在./model-store
路徑中。
用模型進行服務
這是一個簡單的步驟,我們可以運行帶有所有必需參數的torchserve docker容器。
docker run --rm -it \-p 3000:8080 -p 3001:8081 \-v $(pwd)/model-store:/home/model-server/model-store pytorch/torchserve:0.1-cpu \torchserve --start --model-store model-store --models resnet34=resnet34.mar
我將容器端口8080和8081分別綁定到3000和3001(8080/8081已經在我的機器中使用)。然後,我從./model-store
創建一個volume。最後,我通過padding model-store
並通過key-value列表的方式指定模型的名稱來調用torchserve
。
這裡,torchserve有一個endpoint /predictions/resnet34
,我們可以通過發送圖像來預測。這可以使用curl來實現。
curl -X POST http://127.0.0.1:3000/predictions/resnet34 -T inputs/kitten.jpg
kitten.jpg
回復:
{ "label": "tiger_cat", "index": 282 }
工作正常!
總結
使用docker安裝torchserve
默認以及自定義handlers
模型打包生成
使用docker提供模型服務到此這篇關於用PyTorch部署模型的文章就介紹到這瞭,更多相關PyTorch部署模型內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- pytorch 預訓練模型讀取修改相關參數的填坑問題
- Pytorch教程內置模型源碼實現
- 解決Pytorch半精度浮點型網絡訓練的問題
- pytorch 計算Parameter和FLOP的操作
- pytorch加載預訓練模型與自己模型不匹配的解決方案