Recurrent Neural Networks

這個章節會探討了 Recurrent Neural Networks (RNNs) 的概念，介紹了如何使用標示 (notation) 來標記出輸入及輸出，以及如何建立一個字典來對應每個單字。接著會討論使用 RNNs 進行 forward propagation 與 backpropagation through time 的概念。此外，還會介紹 RNN 的 GRU 和 LSTM 模型，以及使用 peephole connection 來擴展 LSTM。還有 BRNN 解決單方向 RNN 無法處理一些問題的問題，和有多個 hidden layers 的 DRNN 可以更有效率的處理 sequence data。

📄️ 1 - Sequence Models

Sequence data 指的是一連串的 data，例如輸入 input 一連串聲音 output 成文字（語音識別），我們要利用 Recurrent Neural Network (循環神經網路) 來建立出 sequence model。

📄️ 2 - RNN Models

本文主要介紹 Gated Recurrent Unit (GRU) 和 Long Short Term Memory (LSTM) 這兩種 Recurrent Neural Network (RNN) 模型的架構及其原理。GRU 將 basic RNN 的結構加上一個 memory cell 來解決 vanishing gradients 的問題，而 LSTM 則是改進 GRU，將 basic RNN 的結構更進一步加上三個 gates 來解決 vanishing gradients 和 long-term dependency 的問題。此外，也介紹了 Bidirectional RNN (BRNN) 和 Deep RNNs (DRNN)，BRNN 能夠雙向處理句子，而 DRNN 則是將 RNN 的 hidden layers 數目增加。