Python迅速掌握語音識別之知識儲備篇
概述
從今天開始我們將開啟一個新的深度學習章節, 為大傢來講述一下深度學習在語音識別 (Speech Recognition) 的應用. 語音識別技術可以將語音轉換為計算機可讀的輸入, 讓計算機明白我們要表達什麼, 實現真正的人機交互. 希望通過本專欄的學習, 大傢能夠對語音識別這一領域有一個基本的瞭解.
RNN
RNN (Recurrent Neural Network) 即循環神經網絡, 用於處理輸入有相關性的任務. RNN 網絡包括一個輸入層, 一個隱層, 和一個輸出層組成, 如圖:
計算
隱層 (Hidden Layer) 定義瞭整個網絡的狀態, RNN 網絡的計算過程如下:
計算狀態 (State)
計算輸出:
RNN 存在的問題
梯度消失問題 (Vanishing gradient problem). 如果導數小於 1, 隨著網絡層數的增加梯度跟新會朝著指數衰減的方向前進, 這就是梯度消失, 如圖:
我們可以看出, 隨著時間的增加, 深層的網絡對淺層的感知變得越來越微弱, 梯度接近於0.
梯度爆炸問題 (Exploding gradient problem). 如果導數大於 1, 隨著網絡層數的增加梯度跟新會朝著指數增加的方向前進, 這就是梯度爆炸. 當 RNN 網絡導數大於 1 時就會出現時序依賴, 從而造成梯度爆炸.
LSTM
LSTM (Long Short Term Memory), 即長短期記憶模型. LSTM 是一種特殊的 RNN 模型, 解決瞭長序列訓練過程中的梯度消失和梯度爆炸的問題. 相較於普通 RNN, LSTM 能夠在更長的序列中有更好的表現. 相比 RNN 隻有一個傳遞狀態 ht, LSTM 有兩個傳遞狀態： ct (cell state) 和 ht (hidden state).
LSTM 增加瞭輸入門, 輸出門, 遺忘門 三個控制單元. LSTM 的 cell 會決定哪些信息被留下, 哪些信息被遺忘, 從而解決神經網絡中長序列依賴的問題.
GRU
GRU (Gate Recurrent Unit) 和 LSTM 類似, 但是更易於計算. GRU 由重置門, 更新門, 和輸出門組成. 重置門和 LSTM 的遺忘文作用一樣, 用於決定信息的去留. 同理, 更新門的作用類似於 LSTM 的輸入門.
Seq2seq
Seq2seq 由 Encoder 和 Decoder 兩個 RNN 組成. Encoder 將變長序列輸出, 編碼成 encoderstate 再由 Decoder 輸出變長序列.
Attention 模型
Attention 是一種用於提升 RNN 的 Encoder 和 Decoder 模型的效果的機制. 廣泛應用於機器翻譯, 語音識別, 圖像標註等多個領域. 深度學習中的註意力機制從本質上講和人類的選擇性視覺註意力機制類似. 核心目標也是從眾多信息中選擇出對當前任務目標更關鍵的信息.
Attention 實質上是一種 content-based addressing 的機制. 即從網絡中某些狀態集合中選取給定狀態較為相似的狀態, 進而做後續的信息抽取.
首先根據 Encoder 和 Decoder 的特征計算權值, 然後對 Encoder 的特征進行加權求和, 作為 Decoder 的輸入. 其作用的將 Encoder 的特征以更好的方式呈獻給 Decoder. (並不是所有的 context 都對下一個狀態的生成產生影響, Attention 就是選擇恰當的 context 用它生成下一個狀態.
Teacher Forcing 機制
早起的 RNN 在訓練過程中的預測能力非常弱, 如果一個 unit 預測錯瞭, 後面的 unit 就很難再獲取對的結果. 比如我們翻譯一句話:
- Life is like a box of chocolates.You never know what you’re going to get
- 人生就像一盒巧克力，你永遠也不知道下一塊是什麼味道
如果我們把 life 翻譯成 “西伯利亞”, 那麼後面再翻譯對的可能性就幾乎為 0.
Teacher Forcing 是一種網絡訓練的方法, 使用上一個 label 作為下一個 state 的輸入. 還是用上面的例子說明: 當使用 Teacher Forcing 機制的時候, 即時我們把 life 翻譯成 “西伯利亞”, 下一個 Decoder 的輸入我們會使用上一個的 label 作為 state, 即 “人生”, 而不是 “西伯利亞”. 這樣就大大提高瞭 RNN 網絡的預測能力.
到此這篇關於Python迅速掌握語音識別之知識儲備篇的文章就介紹到這瞭,更多相關Python 語音識別內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！
推薦閱讀：
- pytorch中使用LSTM詳解
- pytorch lstm gru rnn 得到每個state輸出的操作
- 淺析操作系統中的虛擬地址與物理地址
- beam search及pytorch的實現方式
- 深入學習PyTorch中LSTM的輸入和輸出