1.全連接層作用是什么

正如你所說的，Attention的最終輸出可以看成是一個“在關(guān)注部分權(quán)重更大的全連接層”但是它與全連接層的區(qū)別在于，注意力機制可以利用輸入的特征信息來確定哪些部分更重要舉個例子：輸入層有A,B,C三個特征向量

2.什么叫全連接層

，我們需要構(gòu)造一層網(wǎng)絡(luò)來確定三者的權(quán)重，然后加權(quán)求和得到輸出O也就是得到三個權(quán)重 wA,wB,wCw_A,w_B,w_C ，然后地藏經(jīng)全文(注音版)帶回向文誦讀得到 O=wAA+wBB+wCCO=w_AA+w_BB+w_CC 這個式子形式上看上去確實是全連接層沒錯。

3.全連接層圖片

然而如果用全連接層有什么問題呢？問題就在于在全連接層里， wA,wB,wCw_A,w_B,w_C 是根據(jù)位置確定的我第一次給你三個數(shù)據(jù)ABC，然后你得出了B最重要，也就是讓 wBw_B 最大然而我下次給你的順序可能是BAC，這次A在剛才B的位置，如果你用全連接層來實現(xiàn)的話，得出的結(jié)果就會變成 。

4.全連接層的原理

O=wAB+wBA+wCCO=w_AB+w_BA+w_CC 這就變成了A最重要了，這顯然不是我們想要的結(jié)果那么如何解決這個問題呢？我們就要根據(jù)實體自身的特征，而不是地藏經(jīng)全文(注音版)帶回向文誦讀它們的位置來確定它們的重要程度也就是說， 。

5.全連接層和全連接網(wǎng)絡(luò)

wA,wB,wCw_A,w_B,w_C 不該是固定的，而是要與A,B,C的值相關(guān)簡單考慮，也就是要定義一個函數(shù)f，令wA=f(A),wB=f(B),wC=f(C)w_A=f(A),w_B=f(B),w_C=f(C)。

6.全連接層工作原理

于是我們就給每個實體分配了一個與它們的位置無關(guān)的權(quán)重這里的函數(shù)f就是我們所說的注意力機制注意力機制f的定義方式有很多種，但是不屬于這個問題的范圍，這里我就不討論了我們最終得出的輸出為O=wAA+wBB

7.全連接層的缺點

+wCC=f(A)A+f(B)B+f(C)CO=w_AA+w_BB+w_CC=地藏經(jīng)全文(注音版)帶回向文誦讀f(A)A+f(B)B+f(C)C可以看出，最終整合信息時加權(quán)求和的形式?jīng)]有變，所以可能是這樣才讓題主產(chǎn)生了注意力機制與全連接層沒有區(qū)別的疑惑。

8.全連接層如何進(jìn)行分類

然而事實上注意力機制的意義是引入了權(quán)重函數(shù)f，使得權(quán)重與輸入相關(guān)，從而避免了全連接層中權(quán)重固定的問題2019年4月21日更新：經(jīng)評論區(qū)一位朋友的提醒，想到可以從另外一個角度解釋這個問題：全連接的作用的是對一個實體進(jìn)行從一個。

9.全連接層 attention

特征空間到另一個特征空間的映射，而注意力機制是要對來自同一個特征空間的多個實體進(jìn)行整合全連接的權(quán)重對應(yīng)的是一個實體上的每個特征的重要性，而注意力機制的輸出結(jié)果是各個實體的重要性地藏經(jīng)全文(注音版)帶回向文誦讀比如說，一個單詞“l(fā)ove”在從200維的特征空間轉(zhuǎn)換到100維的特征空間時，使用的是全連接，不需要注意力機制，因為特征空間每一維的意義是固定的。

10.全連接層參數(shù)怎么設(shè)置

而如果我們面對的是詞組“I love you”，需要對三個200維的實體特征進(jìn)行整合，整合為一個200維的實體，此時就要考慮到實體間的位置可能發(fā)生變化，我們下次收到的句子可能是“l(fā)ove you I”，從而需要一個與位置無關(guān)的方案。