聊聊pytorch測試的時候為何要加上model.eval()

Posted on by

Do need to use model.eval() when I test?

Sure, Dropout works as a regularization for preventing overfitting during training.

It randomly zeros the elements of inputs in Dropout layer on forward call.

It should be disabled during testing since you may want to use full model (no element is masked)

使用PyTorch進行訓練和測試時一定註意要把實例化的model指定train/eval，eval（）時，框架會自動把BN和DropOut固定住，不會取平均，而是用訓練好的值，不然的話，一旦test的batch_size過小，很容易就會被BN層導致生成圖片顏色失真極大！！！！！！

補充：pytorch中model eval和torch no grad()的區別

model.eval()和with torch.no_grad()的區別

在PyTorch中進行validation時，會使用model.eval()切換到測試模式，在該模式下，

主要用於通知dropout層和batchnorm層在train和val模式間切換

在train模式下，dropout網絡層會按照設定的參數p設置保留激活單元的概率（保留概率=p); batchnorm層會繼續計算數據的mean和var等參數並更新。

在val模式下，dropout層會讓所有的激活單元都通過，而batchnorm層會停止計算和更新mean和var，直接使用在訓練階段已經學出的mean和var值。

該模式不會影響各層的gradient計算行為，即gradient計算和存儲與training模式一樣，隻是不進行反傳（backprobagation）

而with torch.no_grad()則主要是用於停止autograd模塊的工作，以起到加速和節省顯存的作用，具體行為就是停止gradient計算，從而節省瞭GPU算力和顯存，但是並不會影響dropout和batchnorm層的行為。

使用場景

如果不在意顯存大小和計算時間的話，僅僅使用model.eval()已足夠得到正確的validation的結果；而with torch.zero_grad()則是更進一步加速和節省gpu空間（因為不用計算和存儲gradient），從而可以更快計算，也可以跑更大的batch來測試。

補充：Pytorch的modle.train，model.eval，with torch.no_grad的個人理解

1. 最近在學習pytorch過程中遇到瞭幾個問題

不理解為什麼在訓練和測試函數中model.eval()，和model.train()的區別，經查閱後做如下整理

一般情況下，我們訓練過程如下：

1、拿到數據後進行訓練，在訓練過程中，使用

model.train(）：告訴我們的網絡，這個階段是用來訓練的，可以更新參數。

2、訓練完成後進行預測，在預測過程中，使用

model.eval() ： 告訴我們的網絡，這個階段是用來測試的，於是模型的參數在該階段不進行更新。

2. 但是為什麼在eval()階段會使用with torch.no_grad()？

查閱相關資料：傳送門

with torch.no_grad – disables tracking of gradients in autograd.

model.eval() changes the forward() behaviour of the module it is called upon

eg, it disables dropout and has batch norm use the entire population statistics

總結一下就是說，在eval階段瞭，即使不更新，但是在模型中所使用的dropout或者batch norm也就失效瞭，直接都會進行預測，而使用no_grad則設置讓梯度Autograd設置為False(因為在訓練中我們默認是True)，這樣保證瞭反向過程為純粹的測試，而不變參數。

另外，參考文檔說這樣避免每一個參數都要設置，解放瞭GPU底層的時間開銷，在測試階段統一梯度設置為False

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：