簡單聊聊PyTorch裡面的torch.nn.Parameter()

Posted on by

在刷官方Tutorial的時候發現瞭一個用法self.v = torch.nn.Parameter(torch.FloatTensor(hidden_size)),看瞭官方教程裡面的解釋也是雲裡霧裡，於是在棧溢網看到瞭一篇解釋，並做瞭幾個實驗才算完全理解瞭這個函數。首先可以把這個函數理解為類型轉換函數，將一個不可訓練的類型Tensor轉換成可以訓練的類型parameter並將這個parameter綁定到這個module裡面(net.parameter()中就有這個綁定的parameter，所以在參數優化的時候可以進行優化的)，所以經過類型轉換這個self.v變成瞭模型的一部分，成為瞭模型中根據訓練可以改動的參數瞭。使用這個函數的目的也是想讓某些變量在學習的過程中不斷的修改其值以達到最優化。

出現這個函數的地方

在concat註意力機制中，權值V是不斷學習的所以要是parameter類型。

通過做下面的實驗發現，linear裡面的weight和bias就是parameter類型，且不能夠使用tensor類型替換，還有linear裡面的weight甚至可能通過指定一個不同於初始化時候的形狀進行模型的更改。

做的實驗

self.v被綁定到模型中瞭，所以可以在訓練的時候優化

與torch.tensor([1,2,3],requires_grad=True)的區別，這個隻是將參數變成可訓練的，並沒有綁定在module的parameter列表中。

總結

到此這篇關於PyTorch裡面的torch.nn.Parameter()的文章就介紹到這瞭,更多相關PyTorch的torch.nn.Parameter()內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：