強推 | 人人都能看懂的LSTM介紹及反向傳播算法推導（非常詳細）
↑↑↑點擊上方藍字，回復資料，10個G的驚喜
?和?
?，并且對細胞狀態(tài)?
?中的每一個數(shù)來說輸出值都介于 0 和 1 之間。1 表示“完全接受這個”，0 表示“完全忽略這個”。
?形網(wǎng)絡層創(chuàng)建一個新的備選值向量——?
?，可以用來添加到細胞狀態(tài)。在下一步中我們將上面的兩部分結合起來，產(chǎn)生對狀態(tài)的更新。
?更新到?
?。先前的步驟已經(jīng)決定要做什么，我們只需要照做就好。
?，用來忘記我們決定忘記的事。然后我們加上?
?，這是新的候選值，根據(jù)我們對每個狀態(tài)決定的更新值按比例進行縮放。
?,求某個節(jié)點梯度時，首先應該找到該節(jié)點的輸出節(jié)點，然后分別計算所有輸出節(jié)點的梯度乘以輸出節(jié)點對該節(jié)點的梯度，最后相加即可得到該節(jié)點的梯度。如計算?
?時，找到?
?節(jié)點的所有輸出節(jié)點?
?
?，然后分別計算輸出節(jié)點的梯度(如?
?)與輸出節(jié)點對??的梯度的乘積（如?
?），最后相加即可得到節(jié)點??的梯度:
?和重置門?
?，如下圖所示。更新門用于控制前一時刻的狀態(tài)信息被帶入到當前狀態(tài)中的程度，更新門的值越大說明前一時刻的狀態(tài)信息帶入越多；重置門控制前一時刻狀態(tài)有多少信息被寫入到當前的候選集?
?上，重置門越小，前一狀態(tài)的信息被寫入的越少。這樣做使得 GRU 比標準的 LSTM 模型更簡單，因此正在變得流行起來。
參考資料：【翻譯】理解 LSTM 網(wǎng)絡 - xuruilong100 - 博客園
經(jīng)典教材《統(tǒng)計學習導論》Python版
老鐵，三連支持一下，好嗎？↓↓↓
評論
圖片
表情