什么是Transformer?

RNN只能受限于

N to N

1 to N

N to 1

我們找到了sequence to sequence

一個擁有編碼器Encoder和解碼器Decoder的模型

Encoder和Decoder依然是RNN網(wǎng)絡(luò)

Encoder提取原始語言的意義，之后Decoder轉(zhuǎn)換為相應(yīng)的語言

依靠意義這一中介

seq2seq成功解決了兩端單詞數(shù)不對等的狀況

問題：

意義單元能夠存儲的信息是有限的，如果一個句子太長，翻譯精度就會隨著下降

ATTENTION

注意力機制

人們在找到每個單詞上

提取最需要的信息

成功擺脫輸入序列的長度限制

但是現(xiàn)在這樣看的速度實在是太慢了

Self-Attention

先提取每個單詞的意義，再依據(jù)生成順序選取所需要的信息