Python深度學習神經網絡基本原理

Posted on by

神經網絡

梯度下降法

在詳細瞭解梯度下降的算法之前，我們先看看相關的一些概念。

　　　　1. 步長（Learning rate）：步長決定瞭在梯度下降迭代的過程中，每一步沿梯度負方向前進的長度。用上面下山的例子，步長就是在當前這一步所在位置沿著最陡峭最易下山的位置走的那一步的長度。

　　　　2.特征（feature）：指的是樣本中輸入部分，比如2個單特征的樣本（x(0),y(0)）,（x(1),y(1)）（x(0),y(0)）,（x(1),y(1)）,則第一個樣本特征為x(0)x(0)，第一個樣本輸出為y(0)y(0)。

　　　　3. 假設函數（hypothesis function）：在監督學習中，為瞭擬合輸入樣本，而使用的假設函數，記為hθ(x)hθ(x)。比如對於單個特征的m個樣本（x(i),y(i)）(i=1,2,…m)（x(i),y(i)）(i=1,2,…m),可以采用擬合函數如下： hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x。

　　　　4. 損失函數（loss function）：為瞭評估模型擬合的好壞，通常用損失函數來度量擬合的程度。損失函數極小化，意味著擬合程度最好，對應的模型參數即為最優參數。在線性回歸中，損失函數通常為樣本輸出和假設函數的差取平方。比如對於m個樣本（xi,yi）(i=1,2,…m)（xi,yi）(i=1,2,…m),采用線性回歸，損失函數為：

J(θ0,θ1)=∑i=1m(hθ(xi)−yi)2J(θ0,θ1)=∑i=1m(hθ(xi)−yi)2

其中xixi表示第i個樣本特征，yiyi表示第i個樣本對應的輸出，hθ(xi)hθ(xi)為假設函數。

分享人：張嬌娟

到此這篇關於Python深度學習神經網絡基本原理的文章就介紹到這瞭,更多相關Python 神經網絡內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：