使用tensorflow 實現反向傳播求導
看代碼吧~
X=tf.constant([-1,-2],dtype=tf.float32) w=tf.Variable([2.,3.]) truth=[3.,3.] Y=w*X # cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth))))) cost=Y[1]*Y optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print(sess.run(Y)) print(sess.run(w)) print(sess.run(cost)) print(sess.run(Y)) sess.run(optimizer) print(sess.run(w))
結果如下
W由[2,3]變成[-4,-25]
過程:
f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]
f對w0求導,得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4
f對w1求導,得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25
補充:【TensorFlow篇】–反向傳播
一、前述
反向自動求導是 TensorFlow 實現的方案,首先,它執行圖的前向階段,從輸入到輸出,去計算節點
值,然後是反向階段,從輸出到輸入去計算所有的偏導。
二、具體
1、舉例
圖是第二個階段,在第一個階段中,從 x =3和 y =4開始去計算所有的節點值
f ( x / y )=x 2 * y + y + 2
求解的想法是逐漸的從圖上往下,計算 f ( x , y )的偏導,使用每一個連續的節點,直到我們到達變量節
點,嚴重依賴鏈式求導法則!
2.具體過程:
因為n7是輸出節點,所以f=n7,所以𝜕f/𝜕𝑛7= 1
讓我們繼續往下走到n5節點,𝜕f/𝜕𝑛5=𝜕f/𝜕𝑛7∗𝜕𝑛7/𝜕𝑛5 . 我們已知𝜕f/𝜕𝑛7=1,所以我們需要知道𝜕𝑛7/𝜕𝑛5 ,因為n7=n5+n6,所以我們求得𝜕𝑛7/𝜕𝑛5=1,所以𝜕f/𝜕𝑛5=1*1=1
現在我們繼續走到節點n4,𝜕f/𝜕𝑛4=𝜕f/𝜕𝑛5∗𝜕𝑛5/𝜕𝑛4,因為n5=n4*n2,我們求得�𝑛5/𝜕𝑛4=n2,𝜕f/𝜕𝑛4=1*4
沿著圖一路向下,我們可以計算出所有節點,就能計算出 𝜕𝑓/𝜕x= 24,𝜕𝑓/𝜕y= 10
那我們就可以利用和上面類似的方式方法去計算𝜕𝑓/𝜕𝑤
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。
推薦閱讀:
- 基於Tensorflow搭建一個神經網絡的實現
- TensorFlow神經網絡構造線性回歸模型示例教程
- tensorflow中的梯度求解及梯度裁剪操作
- numpy和tensorflow中的各種乘法(點乘和矩陣乘)
- 深度學習TextRNN的tensorflow1.14實現示例