跳至主要内容

Sequence Models

在 Sequence Models 中,我們將會學習如何建立 Natural Language、Audio 或其他 Sequence Data 的模型。由於有 Deep Learning,Sequence Algorithms 才能夠快速進步,其中的專案包括:Speech Recognition、Music Synthesis、Chatbots、Machine Translation、Natural Language Understanding 等等。

首先會先介紹什麼是 RNNs,這類型的網路 (LSTM、GRU、BRNNs) 能夠有效地處理時間序列資料。接著介紹和 RNNs 相關的 Natural Language Processing (NLP) 應用,這些應用利用 Word Vector 和 Embedding Layers 來訓練 RNNs,例如 Sentiment Analysis、Named Entity Recognition、Machine Translation 等等。最後,我們會介紹 Attention Mechanism 來加強 Sequence Models。這個 Attention 可以告訴 RNNs 每次在輸出時,應該專注在哪一段輸入。

Overview

📄️ 3 - Models and Attention

本文介紹了 Seq2Seq 模型以及如何使用 Beam Search 的方法來找出最可能的句子,並介紹了如何使用 Length Normalization 來優化 Beam Search。此外,本文也介紹了 Attention Model,它可以改善 Seq2Seq 模型在處理長度較大句子時的記憶力不足,並且可以用在 Machine Translation、Speech Recognition 以及 Trigger Word Detection 等任務上。Attention Model 能夠讓網路像人類一樣去處理句子,在翻譯每一個單字時,注意到正確的原單字。