Pytorch實現ResNet網絡之Residual Block殘差塊

Posted on by

Residual Block

ResNet中最重要的組件是殘差塊（residual block），也稱為殘差單元（residual unit）。一個標準的殘差塊包含兩層卷積層和一條跳過連接（skip connection），如下

假設輸入x的大小為F×H×W，其中FFF表示通道數，H和W分別表示高度和寬度。那麼通過殘差塊後輸出的特征圖的大小仍然是F×H×W。

跳過連接能夠使得該層網絡可以直接通過進行恒等映射（identity mapping）來優化模型，並避免反激化迫使網絡退化。即殘差塊應該學習到輸入數據和輸出數據的差異，而不是完全復制輸入數據。

實現一個殘差塊

代碼如下所示：

import torch.nn as nn

class ResidualBlock(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1):
        super().__init__()
        
        self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
        self.bn1 = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
        self.bn2 = nn.BatchNorm2d(out_channels)
        
        self.shortcut = nn.Sequential()
        if in_channels != out_channels or stride != 1:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),
                nn.BatchNorm2d(out_channels))
        
    def forward(self, x):
        residual = x
        
        x = self.conv1(x)
        x = self.bn1(x)
        x = self.relu(x)
        
        x = self.conv2(x)
        x = self.bn2(x)
        
        shortcut = self.shortcut(residual)
        x += shortcut
        x = self.relu(x)
        
        return x

這段代碼定義瞭一個繼承自nn.Module的殘差塊。在初始化過程中，我們定義瞭兩個卷積層、兩個批標準化（batch normalization）層以及一個恒等映射短連接（shortcut）。其中第二個卷積層的輸入通道數必須與輸出通道數相同。

在forward函數中，我們首先將輸入數據xxx保存到一個變量residual中。然後將xxx通過第一個卷積層、批標準化以及ReLU激活函數，再通過第二個卷積層和批標準化。

默認情況下，跳過連接是一個恒等映射，即僅將輸入數據復制並直接加到輸出數據上。如果輸入的通道數與輸出的通道數不同，或者在卷積操作中改變瞭特征圖的大小（stride > 1），則需要對輸入進行適當的處理以與輸出相匹配。我們使用1×1卷積層（又稱為“投影級”）來改變大小和通道數，並將其添加到shortcut`, 確保整個殘差塊拓撲中都能夠正確地實現殘差學習。

以上就是Pytorch實現ResNet網絡之Residual Block殘差塊的詳細內容，更多關於Pytorch ResNet殘差塊的資料請關註WalkonNet其它相關文章！

推薦閱讀：