Pytorch獲取無梯度TorchTensor中的值

Posted on by

獲取無梯度Tensor

遇到的問題：

使用兩個網絡並行運算，一個網絡的輸出值要給另一個網絡反饋。而反饋的輸出值帶有網絡權重的梯度，即grad_fn=<XXXBackward0>.

這時候如果把反饋值扔到第二網絡中更新，會出現第一個計算圖丟失無法更新的錯誤。哎喲喂，我根本不需要第一個網絡的梯度好嗎？

一開始用瞭一個笨辦法，先轉numpy，然後再轉回torch.Tensor。因為numpy數據是不帶梯度的。

但是我的原始tensor的放在cuda上的，

cuda的張量是不能直接轉Tensor，所以

t_error = td_error.cuda().data.cpu().numpy()
t_error = torch.FloatTensor(t_error).to(device)

從cuda轉回瞭cpu，變成numpy，又轉成瞭tensor，又回到瞭cuda上，坑爹呢這是，可能隻有我才能寫出如此低效的辣雞代碼瞭。

後來發現，其實直接在返回的時候添加

with torch.no_grad():
 td_error = reward + GAMMA * v_ - v

即可.

補充：在pytorch中取一個tensor的均值，然後該張量中的所有值與其對比！

Pytorch中的Tensor的shape是(B, C, W, H)，

對該tensor取均值並與所有值做對比代碼如下：

C, H, W = tensor.shape[1], tensor.shape[2], tensor.shape[3]
for c in range(C):
 mean = torch.mean(x[0][c])
 for h in range(H):
  for w in range(W):
  if x[0][c][h][w] >= mean:
  x[0][c][h][w] = mean

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：