pytorch中的model.eval()和BN層的使用

Posted on by

看代碼吧~

class ConvNet(nn.module):
    def __init__(self, num_class=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(16),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(32),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.fc = nn.Linear(7*7*32, num_classes)
         
    def forward(self, x):
        out = self.layer1(x)
        out = self.layer2(out)
        print(out.size())
        out = out.reshape(out.size(0), -1)
        out = self.fc(out)
        return out
# Test the model
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

如果網絡模型model中含有BN層，則在預測時應當將模式切換為評估模式，即model.eval()。

評估模擬下BN層的均值和方差應該是整個訓練集的均值和方差，即 moving mean/variance。

訓練模式下BN層的均值和方差為mini-batch的均值和方差，因此應當特別註意。

補充：Pytorch 模型訓練模式和eval模型下差別巨大（Pytorch train and eval）附解決方案

當pytorch模型寫明是eval()時有時表現的結果相對於train(True)差別非常巨大，這種差別經過逐層查看，主要來源於使用瞭BN，在eval下，使用的BN是一個固定的running rate，而在train下這個running rate會根據輸入發生改變。

解決方案是凍住bn

def freeze_bn(m):
    if isinstance(m, nn.BatchNorm2d):
        m.eval()
model.apply(freeze_bn)

這樣可以獲得穩定輸出的結果。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：