RNN

首先是計(jì)算的細(xì)節(jié) 這個(gè)很清晰

這個(gè)圖展示了應(yīng)用上的

deep RNN

ELman Network & Jordan Network

Jordan Network 多了一個(gè)y值 可能更準(zhǔn)確

也可以是雙向的 同時(shí)train正向的 和 逆向的

Bidirectional RNN

LSTM Long Short-term Memory

現(xiàn)在比較常用

首先是一個(gè)input gate關(guān)起來的話就無法寫入，機(jī)器可以自己學(xué)習(xí)的；output gate決定能不能從memory cell 中輸出，也是可以學(xué)習(xí)；最后一個(gè)forget gate 決定什么時(shí)候forget掉存在memory cell的東西。

看圖 很清晰

gate 那里用sigmoid 0到1之間可以更好地表示打開和關(guān)閉的程度

f(Zi)就是控制z可不可以輸入的關(guān)卡

f(Zf)就是控制保不保存之前的記憶C

就是forget打開（1）代表保留，關(guān)閉代表遺忘，這個(gè)名字很怪

具體見下圖

舉例

演示

其實(shí)就是乘上不同的w去操縱 4個(gè)input 參數(shù)量是4倍

多層