Sequence Models
在 Sequence Models 中,我們將會學習如何建立 Natural Language、Audio 或其他 Sequence Data 的模型。由於有 Deep Learning,Sequence Algorithms 才能夠快速進步,其中的專案包括:Speech Recognition、Music Synthesis、Chatbots、Machine Translation、Natural Language Understanding 等等。
首先會先介紹什麼是 RNNs,這類型的網路 (LSTM、GRU、BRNNs) 能夠有效地處理時間序列資料。接著介紹和 RNNs 相關的 Natural Language Processing (NLP) 應用,這些應用利用 Word Vector 和 Embedding Layers 來訓練 RNNs,例如 Sentiment Analysis、Named Entity Recognition、Machine Translation 等等。最後,我們會介紹 Attention Mechanism 來加強 Sequence Models。這個 Attention 可以告訴 RNNs 每次在輸出時,應該專注在哪一段輸入。
Overview
🗃️ 1 - Recurrent Neural Networks
2 個項目
📄️ 2 - NLP and Word Embeddings
本文討論了 NLP 中的 Word Embedding 技術,是一種改良了 one-hot vector 的字詞表示法,將單詞投影到一個高維度空間中的表示方法,讓 model 可以表達出各個字詞之間的關聯性。Word Embeddings 可以使用於 Transfer Learning 來擴大 model 的能力,以及可以執行 Analogy Reasoning 來尋找字詞之間的類似關係。
📄️ 3 - Models and Attention
本文介紹了 Seq2Seq 模型以及如何使用 Beam Search 的方法來找出最可能的句子,並介紹了如何使用 Length Normalization 來優化 Beam Search。此外,本文也介紹了 Attention Model,它可以改善 Seq2Seq 模型在處理長度較大句子時的記憶力不足,並且可以用在 Machine Translation、Speech Recognition 以及 Trigger Word Detection 等任務上。Attention Model 能夠讓網路像人類一樣去處理句子,在翻譯每一個單字時,注意到正確的原單字。