解決Pytorch在測試與訓練過程中的驗證結果不一致問題

Posted on by

引言

今天在使用Pytorch導入此前保存的模型進行測試，在過程中發現輸出的結果與驗證結果差距甚大，經過排查後發現是forward與eval()順序問題。

現象

此前的錯誤代碼是

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應該改為

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先forward再eval
    model.forward()
    model.eval()

當時有個疑慮，為什麼要在forward後面再加eval()，查瞭下相關資料，主要是在BN層以及Dropout的問題。

當使用eval()時，模型會自動固定BN層以及Dropout，選取訓練好的值，否則則會取平均，可能導致生成的圖片顏色失真。

PyTorch進行訓練和測試時一定註意要把實例化的model指定train/eval

使用PyTorch進行訓練和測試時一定註意要把實例化的model指定train/eval，eval（）時，框架會自動把BN和DropOut固定住，不會取平均，而是用訓練好的值，不然的話，一旦test的batch_size過小，很容易就會被BN層導致生成圖片顏色失真極大！！！！！！

eg：

Class Inpaint_Network()
......
Model = Inpaint_Nerwoek()

#train:
Model.train(mode=True)
.....

#test:
Model.eval()

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：