Sequence Models

在 Sequence Models 中，我們將會學習如何建立 Natural Language、Audio 或其他 Sequence Data 的模型。由於有 Deep Learning，Sequence Algorithms 才能夠快速進步，其中的專案包括：Speech Recognition、Music Synthesis、Chatbots、Machine Translation、Natural Language Understanding 等等。

首先會先介紹什麼是 RNNs，這類型的網路 (LSTM、GRU、BRNNs) 能夠有效地處理時間序列資料。接著介紹和 RNNs 相關的 Natural Language Processing (NLP) 應用，這些應用利用 Word Vector 和 Embedding Layers 來訓練 RNNs，例如 Sentiment Analysis、Named Entity Recognition、Machine Translation 等等。最後，我們會介紹 Attention Mechanism 來加強 Sequence Models。這個 Attention 可以告訴 RNNs 每次在輸出時，應該專注在哪一段輸入。

Overview

🗃️ 1 - Recurrent Neural Networks

2 個項目

📄️ 2 - NLP and Word Embeddings

本文討論了 NLP 中的 Word Embedding 技術，是一種改良了 one-hot vector 的字詞表示法，將單詞投影到一個高維度空間中的表示方法，讓 model 可以表達出各個字詞之間的關聯性。Word Embeddings 可以使用於 Transfer Learning 來擴大 model 的能力，以及可以執行 Analogy Reasoning 來尋找字詞之間的類似關係。

📄️ 3 - Models and Attention

本文介紹了 Seq2Seq 模型以及如何使用 Beam Search 的方法來找出最可能的句子，並介紹了如何使用 Length Normalization 來優化 Beam Search。此外，本文也介紹了 Attention Model，它可以改善 Seq2Seq 模型在處理長度較大句子時的記憶力不足，並且可以用在 Machine Translation、Speech Recognition 以及 Trigger Word Detection 等任務上。Attention Model 能夠讓網路像人類一樣去處理句子，在翻譯每一個單字時，注意到正確的原單字。