解決Pytorch中的神坑:關於model.eval的問題

有時候使用Pytorch訓練完模型，在測試數據上面得到的結果令人大跌眼鏡。

這個時候需要檢查一下定義的Model類中有沒有 BN 或 Dropout 層，如果有任何一個存在

那麼在測試之前需要加入一行代碼：

#model是實例化的模型對象
model = model.eval()

表示將模型轉變為evaluation（測試）模式，這樣就可以排除BN和Dropout對測試的幹擾。

因為BN和Dropout在訓練和測試時是不同的：

對於BN，訓練時通常采用mini-batch，所以每一批中的mean和std大致是相同的；而測試階段往往是單個圖像的輸入，不存在mini-batch的概念。所以將model改為eval模式後，BN的參數固定，並采用之前訓練好的全局的mean和std；

對於Dropout，訓練階段，隱含層神經元先乘概率P，再進行激活；而測試階段，神經元先激活，每個隱含層神經元的輸出再乘概率P。

如下圖所示：

補充：pytorch中model.eval之後是否還需要model.train的問題

答案是：需要的

正確的寫法是

for循環之後再開啟train，

循環之後的評估model.eval之後就會再次回到model.train

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：

• 聊聊pytorch測試的時候為何要加上model.eval()
• 詳解model.train()和model.eval()兩種模式的原理與用法
• Pytorch 中net.train 和 net.eval的使用說明
• 解決Pytorch在測試與訓練過程中的驗證結果不一致問題
• PyTorch dropout設置訓練和測試模式的實現