Pytorch模型中的parameter與buffer用法

Posted on by

Parameter 和 buffer

If you have parameters in your model, which should be saved and restored in the state_dict, but not trained by the optimizer, you should register them as buffers.Buffers won’t be returned in model.parameters(), so that the optimizer won’t have a change to update them.

模型中需要保存下來的參數包括兩種

一種是反向傳播需要被optimizer更新的，稱之為 parameter

一種是反向傳播不需要被optimizer更新，稱之為 buffer

第一種參數我們可以通過 model.parameters() 返回；第二種參數我們可以通過 model.buffers() 返回。因為我們的模型保存的是 state_dict 返回的 OrderDict，所以這兩種參數不僅要滿足是否需要被更新的要求，還需要被保存到OrderDict。

那麼現在的問題是這兩種參數如何創建呢，創建好瞭如何保存到OrderDict呢？

第一種參數有兩種方式

我們可以直接將模型的成員變量(http://self.xxx) 通過nn.Parameter() 創建，會自動註冊到parameters中，可以通過model.parameters() 返回，並且這樣創建的參數會自動保存到OrderDict中去；

通過nn.Parameter() 創建普通Parameter對象，不作為模型的成員變量，然後將Parameter對象通過register_parameter()進行註冊，可以通model.parameters() 返回，註冊後的參數也會自動保存到OrderDict中去;

第二種參數我們需要創建tensor

然後將tensor通過register_buffer()進行註冊，可以通model.buffers() 返回，註冊完後參數也會自動保存到OrderDict中去。

Pytorch中Module,Parameter和Buffer區別

下文都將torch.nn簡寫成nn

Module: 就是我們常用的torch.nn.Module類，你定義的所有網絡結構都必須繼承這個類。

Buffer: buffer和parameter相對，就是指那些不需要參與反向傳播的參數

示例如下：

class MyModel(nn.Module):
 def __init__(self):
  super(MyModel, self).__init__()
  self.my_tensor = torch.randn(1) # 參數直接作為模型類成員變量
  self.register_buffer('my_buffer', torch.randn(1)) # 參數註冊為 buffer
  self.my_param = nn.Parameter(torch.randn(1))
 def forward(self, x):
  return x 

model = MyModel()
print(model.state_dict())
>>>OrderedDict([('my_param', tensor([1.2357])), ('my_buffer', tensor([-0.9982]))])
Parameter: 是nn.parameter.Paramter，也就是組成Module的參數。例如一個nn.Linear通常由weight和bias參數組成。它的特點是默認requires_grad=True,也就是說訓練過程中需要反向傳播的，就需要使用這個
import torch.nn as nn
fc = nn.Linear(2,2)

# 讀取參數的方式一
fc._parameters
>>> OrderedDict([('weight', Parameter containing:
              tensor([[0.4142, 0.0424],
                      [0.3940, 0.0796]], requires_grad=True)),
             ('bias', Parameter containing:
              tensor([-0.2885,  0.5825], requires_grad=True))])
     
# 讀取參數的方式二（推薦這種）
for n, p in fc.named_parameters():
 print(n,p)
>>>weight Parameter containing:
tensor([[0.4142, 0.0424],
        [0.3940, 0.0796]], requires_grad=True)
bias Parameter containing:
tensor([-0.2885,  0.5825], requires_grad=True)

# 讀取參數的方式三
for p in fc.parameters():
 print(p)
>>>Parameter containing:
tensor([[0.4142, 0.0424],
        [0.3940, 0.0796]], requires_grad=True)
Parameter containing:
tensor([-0.2885,  0.5825], requires_grad=True)

通過上面的例子可以看到，nn.parameter.Paramter的requires_grad屬性值默認為True。另外上面例子給出瞭三種讀取parameter的方法，推薦使用後面兩種，因為是以迭代生成器的方式來讀取，第一種方式是一股腦的把參數全丟給你，要是模型很大，估計你的電腦會吃不消。

另外需要介紹的是_parameters是nn.Module在__init__()函數中就定義瞭的一個OrderDict類，這個可以通過看下面給出的部分源碼看到,可以看到還初始化瞭很多其他東西，其實原理都大同小異，你理解瞭這個之後，其他的也是同樣的道理。

class Module(object):
 ...
    def __init__(self):
        self._backend = thnn_backend
        self._parameters = OrderedDict()
        self._buffers = OrderedDict()
        self._backward_hooks = OrderedDict()
        self._forward_hooks = OrderedDict()
        self._forward_pre_hooks = OrderedDict()
        self._state_dict_hooks = OrderedDict()
        self._load_state_dict_pre_hooks = OrderedDict()
        self._modules = OrderedDict()
        self.training = True

每當我們給一個成員變量定義一個nn.parameter.Paramter的時候，都會自動註冊到_parameters，具體的步驟如下：

import torch.nn as nn
class MyModel(nn.Module):
 def __init__(self):
  super(MyModel, self).__init__()
  # 下面兩種定義方式均可
  self.p1 = nn.paramter.Paramter(torch.tensor(1.0))
  print(self._parameters)
  self.p2 = nn.Paramter(torch.tensor(2.0))
  print(self._parameters)

首先運行super(MyModel, self).__init__()，這樣MyModel就初始化瞭_paramters等一系列的OrderDict，此時所有變量還都是空的。

self.p1 = nn.paramter.Paramter(torch.tensor(1.0)): 這行代碼會觸發nn.Module預定義好的__setattr__函數，該函數部分源碼如下：

def __setattr__(self, name, value):
 ...
 params = self.__dict__.get('_parameters')
 if isinstance(value, Parameter):
  if params is None:
   raise AttributeError(
    "cannot assign parameters before Module.__init__() call")
  remove_from(self.__dict__, self._buffers, self._modules)
  self.register_parameter(name, value)
 ...

__setattr__函數作用簡單理解就是判斷你定義的參數是否正確,如果正確就繼續調用register_parameter函數進行註冊，這個函數簡單概括就是做瞭下面這件事

def register_parameter(self,name,param):
 ...
 self._parameters[name]=param

下面我們實例化這個模型看結果怎樣

model = MyModel()
>>>OrderedDict([('p1', Parameter containing:
tensor(1., requires_grad=True))])
OrderedDict([('p1', Parameter containing:
tensor(1., requires_grad=True)), ('p2', Parameter containing:
tensor(2., requires_grad=True))])

結果和上面分析的一致。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：