tensorflow中的梯度求解及梯度裁剪操作

Posted on by

1. tensorflow中梯度求解的幾種方式

1.1 tf.gradients

tf.gradients(
    ys,
    xs,
    grad_ys=None,
    name='gradients',
    colocate_gradients_with_ops=False,
    gate_gradients=False,
    aggregation_method=None,
    stop_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

計算ys關於xs的梯度，tf.gradients返回的結果是一個長度為len(xs)的tensor列表list，例如

tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]

當y與x無關時，即graph無x到y的路徑， 則求y關於x的梯度時返回[None]；參數stop_gradients指定的變量對當前梯度求解而言， 梯度求解將止於這些變量。

a = tf.constant(0.)
b = 2 * a
g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度計算不再追溯a,b之前的變量

輸出：

In: sess.run(g)

out:[1.0, 1.0]

如果不設置stop_gradients參數則反向傳播梯度計算將追溯到最開始的值a,輸出結果為：

In : sess.run(g)

Out: [3.0, 1.0]

1.2 optimizer.compute_gradients

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

optimizer.compute_gradients是tf.gradients的封裝，作用相同，但是tfgradients隻返回梯度，compute_gradients返回梯度和可導的變量；tf.compute_gradients是optimizer.minimize()的第一步，optimizer.compute_gradients返回一個[(gradient, variable),…]的元組列表，其中gradient是tensor。

直觀上，optimizer.compute_gradients隻比tf.gradients多瞭一個variable輸出。

optimizer = tf.train.GradientDescentOptimizer(learning_rate = 1.0)
self.train_op = optimizer.minimize(self.cost)
sess.run([train_op], feed_dict={x:data, y:labels})

在這個過程中，調用minimize方法的時候，底層進行的工作包括：

(1) 使用tf.optimizer.compute_gradients計算trainable_variables 集合中所有參數的梯度

(2) 用optimizer.apply_gradients來更新計算得到的梯度對應的變量

上面代碼等價於下面代碼

optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1)
grads_and_vars = optimizer.compute_gradients(loss)
train_op = optimizer.apply_gradients(grads_and_vars)

1.3 tf.stop_gradient

tf.stop_gradient(
    input,
    name=None
)

tf.stop_gradient阻止input的變量參與梯度計算，即在梯度計算的過程中屏蔽input之前的graph。

返回：關於input的梯度

2. 梯度裁剪

如果我們希望對梯度進行截斷，那麼就要自己計算出梯度，然後進行clip，最後應用到變量上，代碼如下所示，接下來我們一一介紹其中的主要步驟

#return a list of trainable variable in you model
params = tf.trainable_variables()

#create an optimizer
opt = tf.train.GradientDescentOptimizer(self.learning_rate)

#compute gradients for params
gradients = tf.gradients(loss, params)

#process gradients
clipped_gradients, norm = tf.clip_by_global_norm(gradients,max_gradient_norm)

train_op = opt.apply_gradients(zip(clipped_gradients, params)))

2.1 tf.clip_by_global_norm介紹

tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None)

t_list 表示梯度張量

clip_norm是截取的比率

在應用這個函數之後，t_list[i]的更新公示變為：

global_norm = sqrt(sum(l2norm(t)**2 for t in t_list))
t_list[i] = t_list[i] * clip_norm / max(global_norm, clip_norm)

也就是分為兩步：

(1) 計算所有梯度的平方和global_norm

(2) 如果梯度平方和 global_norm 超過我們指定的clip_norm，那麼就對梯度進行縮放；否則就按照原本的計算結果

梯度裁剪實例2

loss = w*x*x
optimizer = tf.train.GradientDescentOptimizer(0.1)
grads_and_vars = optimizer.compute_gradients(loss,[w,x])
grads = tf.gradients(loss,[w,x])
# 修正梯度
for i,(gradient,var) in enumerate(grads_and_vars):
    if gradient is not None:
        grads_and_vars[i] = (tf.clip_by_norm(gradient,5),var)
train_op = optimizer.apply_gradients(grads_and_vars)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(grads_and_vars))
     # 梯度修正前[(9.0, 2.0), (12.0, 3.0)]；梯度修正後 ，[(5.0, 2.0), (5.0, 3.0)]
    print(sess.run(grads))  #[9.0, 12.0]，
    print(train_op)

補充：tensorflow框架中幾種計算梯度的方式

1. tf.gradients

tf.gradients(
    ys,
    xs,
    grad_ys=None,
    name='gradients',
    colocate_gradients_with_ops=False,
    gate_gradients=False,
    aggregation_method=None,
    stop_gradients=None,
    unconnected_gradients=tf.UnconnectedGradients.NONE
)

計算ys關於xs的梯度，tf.gradients返回的結果是一個長度為len(xs)的Tensor列表list，每個張量為sum(dy/dx)，即ys關於xs的導數。

例子：

tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]

當y與x無關時，即graph無x到y的路徑， 則求y關於x的梯度時返回[None]

參數stop_gradients指定的變量對當前梯度求解而言， 梯度求解將止於這些變量。

實例：

a = tf.constant(0.)
b = 2 * a
g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度計算不再追溯a,b之前的變量

輸出：

In: sess.run(g)

out:[1.0, 1.0]

如果不設置stop_gradients參數則反向傳播梯度計算將追溯到最開始的值a,輸出結果為：

In : sess.run(g)

Out: [3.0, 1.0]

2. optimizer.compute_gradients

compute_gradients(
    loss,
    var_list=None,
    gate_gradients=GATE_OP,
    aggregation_method=None,
    colocate_gradients_with_ops=False,
    grad_loss=None
)

optimizer.compute_gradients是tf.gradients的封裝1.

是optimizer.minimize()的第一步，返回(gradient, variable)的列表，其中gradient是tensor。

直觀上，optimizer.compute_gradients隻比tf.gradients多瞭一個variable輸出。

3. tf.stop_gradient

tf.stop_gradient(
    input,
    name=None
)

tf.stop_gradient阻止input的變量參與梯度計算，即在梯度計算的過程中屏蔽input之前的graph。

返回：關於input的梯度

應用：

1、EM算法，其中M步驟不應涉及通過E步驟的輸出的反向傳播。

2、Boltzmann機器的對比散度訓練，在區分能量函數時，訓練不得反向傳播通過模型生成樣本的圖形。

3、對抗性訓練，通過對抗性示例生成過程不會發生反向訓練。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：