【Attention九層塔】注意力機(jī)制的九重理解
本文作者：電光幻影煉金術(shù)
研究生話題Top1，上海交大計(jì)算機(jī)第一名，高中物理競(jìng)賽一等獎(jiǎng)，段子手，上海交大計(jì)算機(jī)國(guó)獎(jiǎng)，港中文博士在讀
https://zhuanlan.zhihu.com/p/362366192
Attention現(xiàn)在已經(jīng)火爆了整個(gè)AI領(lǐng)域，不管是機(jī)器視覺還是自然語言處理，都離不開Attention、transformer或者BERT。下面我效仿EM九層塔，提出Attention九層塔。希望能與大家交流。有更好的想法也歡迎在評(píng)論區(qū)提出一起討論。
Attention九層塔——理解Attention的九層境界目錄如下:
看山是山——Attention是一種注意力機(jī)制
看山看石——數(shù)學(xué)上看，Attention是一種廣泛應(yīng)用的加權(quán)平均
看山看峰——自然語言處理中，Attention is all you need
看山看水——BERT系列大規(guī)模無監(jiān)督學(xué)習(xí)將Attention推到了新的高度
水轉(zhuǎn)山回——計(jì)算機(jī)視覺中，Attention是有效的非局域信息融合技術(shù)
山高水深——計(jì)算機(jī)視覺中，Attention will be all you need
山水輪回——結(jié)構(gòu)化數(shù)據(jù)中，Attention是輔助GNN的利器
山中有山——邏輯可解釋性與Attention的關(guān)系
山水合一——Attention的多種變種及他們的內(nèi)在關(guān)聯(lián)
1. Attention是一種注意力機(jī)制
顧名思義，attention的本意是生物的注意力機(jī)制在人工智能中的應(yīng)用。注意力機(jī)制有什么好處呢？簡(jiǎn)單地說，可以關(guān)注到完成目標(biāo)場(chǎng)景中所需要的特征。比如說有一系列的特征 
。可能目標(biāo)場(chǎng)景僅僅需要 
，那么attention可以有效地“注意到”這兩個(gè)特征，而忽略其他的特征。attention最早出現(xiàn)在了遞歸神經(jīng)網(wǎng)絡(luò)（RNN）中[1]，作者Sukhbaatar舉了這樣的例子：
上圖中，如果我們需要結(jié)合（1）到（4）這四句話，根據(jù)問題Q回答出正確答案A?？梢钥吹剑琎與（3）沒有直接的關(guān)聯(lián)，但是我們需要從（3）中得到正確答案bedroom。一個(gè)比較自然地想法是，我們引導(dǎo)模型的注意力，從問題開始，從四句話中尋找線索，從而回答問題。
如上圖所示，通過問題中的apple，我們轉(zhuǎn)到了第四句話，然后注意力轉(zhuǎn)移到第三句話，確定回答中的bedroom。
到這里，我們應(yīng)該已經(jīng)抓住了attention最早的理解，達(dá)到了第一層——看山是山。
現(xiàn)在我們的問題是，如何設(shè)計(jì)這樣的模型，以達(dá)到這樣的效果？
最早的實(shí)現(xiàn)是基于顯式的存儲(chǔ)器，把每一步的結(jié)果都存下來，“人工實(shí)現(xiàn)”注意力的轉(zhuǎn)移。
還是上面的例子，
如上圖所示，通過對(duì)存儲(chǔ)器的處理，和對(duì)注意到的東西的更新，實(shí)現(xiàn)attention。這種方法比較簡(jiǎn)單，但是很hand-crafted，后來已經(jīng)逐漸廢棄了，我們需要升級(jí)我們的認(rèn)知，達(dá)到比較抽象層次。
2. Attention是一種加權(quán)平均
Attention的經(jīng)典定義，是來源于Attention is all you need這篇曠世奇作[2]。雖然前面一些工作也發(fā)現(xiàn)了類似的技術(shù)（如self-attention），但是這篇文章因?yàn)樘岢隽恕癮ttention就是一切你想要的”這一大膽而逐漸被證實(shí)的論斷，而享有了載入史冊(cè)的至高榮耀。這一經(jīng)典定義，就是下面的公式。
公式含義下面講，先講講意義。這一公式，也基本上是近五年來，科研人員最早接觸到的經(jīng)典定義。這一公式在自然語言處理中的地位，即將接近牛頓定律在經(jīng)典力學(xué)中的地位，已經(jīng)成為了搭建復(fù)雜模型的基本公式。
這個(gè)公式看似復(fù)雜，但是理解了之后就會(huì)發(fā)現(xiàn)非常的簡(jiǎn)單和基本。先講一下每個(gè)字母的含義。字面意思：Q表示query，表示的是K表示key，V表示value， 
是K的維度。這時(shí)候就要有人問了，什么是query，什么是key，什么是value？因?yàn)檫@三個(gè)概念都是這篇文章引入的，所以說，這篇文章中的公式擺在Q的這個(gè)位置的東東就是query，擺在K這個(gè)位置的就叫key，擺在V這個(gè)位置的就是value。這就是最好的解讀。換句話說，這個(gè)公式類似于牛頓定律，本身是可以起到定義式的作用的。
為了便于大家理解，我在這里舉幾個(gè)例子解釋一下這三個(gè)概念。
1、 【搜索領(lǐng)域】在bilibili找視頻，key就是bilibili數(shù)據(jù)庫(kù)中的關(guān)鍵字序列（比如宅舞、鬼畜、馬保國(guó)等），query就是你輸入的關(guān)鍵字序列，比如馬保國(guó)、鬼畜，value就是你找到的視頻序列。
2、【推薦系統(tǒng)】在淘寶買東西，key就是淘寶數(shù)據(jù)庫(kù)中所有的商品信息，query就是你最近關(guān)注到的商品信息，比如高跟鞋、緊身褲，value就是推送給你的商品信息。
上面兩個(gè)例子比較的具體，我們往往在人工智能運(yùn)用中，key，query，value都是隱變量特征。因此，他們的含義往往不那么顯然，我們需要把握的是這種計(jì)算結(jié)構(gòu)。
回到公式本身，這個(gè)公式本質(zhì)上就是表示按照關(guān)系矩陣進(jìn)行加權(quán)平均。關(guān)系矩陣就是 
，而softmax就是把關(guān)系矩陣歸一化到概率分布，然后按照這個(gè)概率分布對(duì)V進(jìn)行重新采樣，最終得到新的attention的結(jié)果。
下圖展示了在NLP中的Attention的具體含義。我們現(xiàn)在考慮一個(gè)單詞it的特征，那么它的特征將根據(jù)別的單詞的特征加權(quán)得到，比如說可能the animal跟it的關(guān)系比較近（因?yàn)閕t指代the animal），所以它們的權(quán)值很高，這種權(quán)值將影響下一層it的特征。更多有趣的內(nèi)容請(qǐng)參看 The Annotated Transformer[3]和illustrate self-attention[4]。
看到這里，大概能明白attention的基礎(chǔ)模塊，就達(dá)到了第二層，看山看石。
3. 自然語言處理中，Attention is all you need。
Attention is all you need這篇文章的重要性不只是提出了attention這一概念，更重要的是提出了Transformer這一完全基于attention的結(jié)構(gòu)。完全基于attention意味著不用遞歸recurrent，也不用卷積convolution，而完全使用attention。下圖是attention與recurrent，convolution的計(jì)算量對(duì)比。
可以看到，attention比recurrent相比，需要的序列操作變成了O(1)，盡管每層的復(fù)雜性變大了。這是一個(gè)典型的計(jì)算機(jī)內(nèi)犧牲空間換時(shí)間的想法，由于計(jì)算結(jié)構(gòu)的改進(jìn)（如加約束、共享權(quán)重）和硬件的提升，這點(diǎn)空間并不算什么。
convolution也是典型的不需要序列操作的模型，但是其問題在于它是依賴于2D的結(jié)構(gòu)（所以天然適合圖像），同時(shí)它的計(jì)算量仍然是正比于輸入的邊長(zhǎng)的對(duì)數(shù)的，也就是Ologk(n)。但是attention的好處是最理想情況下可以把計(jì)算量降低到O(1)。也就是說，在這里我們其實(shí)已經(jīng)能夠看到，attention比convolution確實(shí)有更強(qiáng)的潛力。
Transformer的模型放在下面，基本就是attention模塊的簡(jiǎn)單堆疊。由于已經(jīng)有很多文章講解其結(jié)構(gòu)，本文在這里就不展開說明了。它在機(jī)器翻譯等領(lǐng)域上，吊打了其他的模型，展示了其強(qiáng)大的潛力。明白了Transformer，就已經(jīng)初步摸到了attention的強(qiáng)大，進(jìn)入了看山看峰的境界。
4. 看山看水——BERT系列大規(guī)模無監(jiān)督學(xué)習(xí)將Attention推到了新的高度。
BERT[5]的推出，將attention推到了一個(gè)全新的層次。BERT創(chuàng)造性地提出在大規(guī)模數(shù)據(jù)集上無監(jiān)督預(yù)訓(xùn)練加目標(biāo)數(shù)據(jù)集微調(diào)（fine-tune）的方式，采用統(tǒng)一的模型解決大量的不同問題。BERT的效果非常好，在11個(gè)自然語言處理的任務(wù)上，都取得了非凡的提升。GLUE上提升了7.7%，MultiNLI提升了4.6%，SQuAD v2.0提升了5.1%。
BERT的做法其實(shí)非常簡(jiǎn)單，本質(zhì)就是大規(guī)模預(yù)訓(xùn)練。利用大規(guī)模數(shù)據(jù)學(xué)習(xí)得到其中的語義信息，再把這種語義信息運(yùn)用到小規(guī)模數(shù)據(jù)集上。BERT的貢獻(xiàn)主要是：1）提出了一種雙向預(yù)訓(xùn)練的方式。（2）證明了可以用一種統(tǒng)一的模型來解決不同的任務(wù)，而不用為不同的任務(wù)設(shè)計(jì)不同的網(wǎng)絡(luò)。（3）在11個(gè)自然語言處理任務(wù)上取得了提升。
（2）和（3）不需要過多解釋。這里解釋一下（1）。之前的OpenAI GPT傳承了attention is all you need，采用的是單向的attention（下圖右），也就是說輸出內(nèi)容只能attention到之前的內(nèi)容，但是BERT（下圖左）采用的是雙向的attention。BERT這種簡(jiǎn)單的設(shè)計(jì)，使得他大幅度超過了GPT。這也是AI屆一個(gè)典型的小設(shè)計(jì)導(dǎo)致大不同的例子。
BERT提出了幾個(gè)簡(jiǎn)單的無監(jiān)督的預(yù)訓(xùn)練方式。第一個(gè)是Mask LM，就是擋住一句話的一部分，去預(yù)測(cè)另外一部分。第二個(gè)是Next Sentence Prediction (NSP) ，就是預(yù)測(cè)下一句話是什么。這種簡(jiǎn)單的預(yù)訓(xùn)練使得BERT抓住了一些基本的語義信息和邏輯關(guān)系，幫助BERT在下流任務(wù)取得了非凡的成就。
理解了BERT是如何一統(tǒng)NLP江湖的，就進(jìn)入了看山看水的新境界。
5. 水轉(zhuǎn)山回——計(jì)算機(jī)視覺中，Attention是有效的非局域信息融合技術(shù)。
Attention機(jī)制對(duì)于計(jì)算機(jī)視覺能不能起到幫助作用呢？回到我們最初的定義，attention本身是一個(gè)加權(quán)，加權(quán)也就意味著可以融合不同的信息。CNN本身有一個(gè)缺陷，每次操作只能關(guān)注到卷積核附近的信息（local information），不能融合遠(yuǎn)處的信息（non-local information)。而attention可以把遠(yuǎn)處的信息也幫忙加權(quán)融合進(jìn)來，起一個(gè)輔助作用?；谶@個(gè)idea的網(wǎng)絡(luò)，叫做non-local neural networks[6] 。
這篇提出的non-local操作和attention非常像，假設(shè)有 
和 
兩個(gè)點(diǎn)的圖像特征，可以計(jì)算得到新的特征 
為：
公式里的 
為歸一化項(xiàng)，函數(shù)f和g可以靈活選擇（注意之前講的attention其實(shí)是f和g選了特例的結(jié)果）。在論文中，f取得是高斯關(guān)系函數(shù)，g取得是線性函數(shù)。提出的non-local模塊被加到了CNN基線方法中，在多個(gè)數(shù)據(jù)集上取得了SOTA結(jié)果。
之后還有一些文獻(xiàn)提出了其他把CNN和attention結(jié)合的方法[7]，都取得了提升效果?？吹搅诉@里，也對(duì)attention有了新的層次的理解。
6. 山高水深——計(jì)算機(jī)視覺中，Attention will be all you need。
在NLP中transformer已經(jīng)一統(tǒng)江湖，那么在計(jì)算機(jī)視覺中，transformer是否能夠一統(tǒng)江湖呢？這個(gè)想法本身是non-trivial的，因?yàn)檎Z言是序列化的一維信息，而圖像天然是二維信息。CNN本身是天然適應(yīng)圖像這樣的二維信息的，但transformer適應(yīng)的是語言這種是一維信息。上一層已經(jīng)講了，有很多工作考慮把CNN和attention加以結(jié)合，那么能否設(shè)計(jì)純transformer的網(wǎng)絡(luò)做視覺的任務(wù)呢？
最近越來越多的文章表明，Transformer能夠很好地適應(yīng)圖像數(shù)據(jù)，有望在視覺屆也取得統(tǒng)治地位。
第一篇的應(yīng)用到的視覺Transformer來自Google，叫Vision Transformer[8]。這篇的名字也很有趣，an image is worth 16x16 words，即一幅圖值得16X16個(gè)單詞。這篇文章的核心想法，就是把一幅圖變成16x16的文字，然后再輸入Transformer進(jìn)行編碼，之后再用簡(jiǎn)單的小網(wǎng)絡(luò)進(jìn)行下有任務(wù)的學(xué)習(xí)，如下圖所示。
Vision transformer主要是把transformer用于圖像分類的任務(wù)，那么能不能把transformer用于目標(biāo)檢測(cè)呢？Facebook提出的模型DETR（detection transformer)給出了肯定的回答[9]。DETR的模型架構(gòu)也非常簡(jiǎn)單，如下圖所示，輸入是一系列提取的圖片特征，經(jīng)過兩個(gè)transformer，輸出一系列object的特征，然后再通過前向網(wǎng)絡(luò)將物體特征回歸到bbox和cls。更詳細(xì)的介紹可以參看
@陀飛輪
的文章：
在計(jì)算機(jī)視覺的其他領(lǐng)域，Transformer也在綻放新的活力。目前Transformer替代CNN已經(jīng)成為一個(gè)必然的趨勢(shì)，也就是說，Attention is all you need將在計(jì)算機(jī)視覺也成立?？吹竭@里，你將會(huì)發(fā)現(xiàn)attention山高水深，非常玄妙。
7. 山水輪回——結(jié)構(gòu)化數(shù)據(jù)中，Attention是輔助GNN的利器。
前面幾層我們已經(jīng)看到，attention在一維數(shù)據(jù)（比如語言）和二位數(shù)據(jù)（比如圖像）都能有很好的應(yīng)用，那么對(duì)于高維數(shù)據(jù)（比如圖數(shù)據(jù)），能否有出色的表現(xiàn)呢？
最早地將attention用于圖結(jié)構(gòu)的經(jīng)典文章是Graph Attention Networks（GAT，哦對(duì)了這個(gè)不能叫做GAN）[10]。圖神經(jīng)網(wǎng)絡(luò)解決的基本問題是，給定圖的結(jié)構(gòu)和節(jié)點(diǎn)的特征，如何獲取一個(gè)圖的特征表示，來在下游任務(wù)（比如節(jié)點(diǎn)分類）中取得好的結(jié)果。那么爬到第七層的讀者們應(yīng)該可以想到，attention可以很好的用在這種關(guān)系建模上。
GAN的網(wǎng)絡(luò)結(jié)構(gòu)也并不復(fù)雜，即便數(shù)學(xué)公式有一點(diǎn)點(diǎn)多。直接看下面的圖。
每?jī)蓚€(gè)節(jié)點(diǎn)之間先做一次attention獲取一組權(quán)重，比如圖中的 
表示1和2之間的權(quán)重。然后再用這組權(quán)重做一個(gè)加權(quán)平均，再使用leakyRelu做一個(gè)激活。最后把多個(gè)head的做一個(gè)平均或者聯(lián)結(jié)即可。
看懂了原來GAT其實(shí)就是attention的一個(gè)不難的應(yīng)用，就進(jìn)入了第七層，山水輪回。
8.山中有山——邏輯可解釋性與Attention的關(guān)系
盡管我們已經(jīng)發(fā)現(xiàn)attention非常有用，如何深入理解attention，是一個(gè)研究界未解決的問題。甚至進(jìn)一步說，什么叫做深入理解，都是一個(gè)全新的問題。大家想想看，CNN是什么時(shí)候提出來的？LeNet也就是98年。CNN我們還沒理解的非常好，attention對(duì)于我們來說更新了。
我認(rèn)為，attention是可以有比CNN更好的理解的。為什么？簡(jiǎn)單一句話，attention這種加權(quán)的分析，天然就具有可視化的屬性。而可視化是我們理解高維空間的利器。
給兩個(gè)例子，第一個(gè)例子是NLP中的BERT，分析論文顯示[11]，學(xué)習(xí)到的特征有非常強(qiáng)的結(jié)構(gòu)性特征。
還有一個(gè)FACEBOOK最近的的工作DINO[12]，下圖圖右是無監(jiān)督訓(xùn)練得到的attention map。是不是非常的震驚？
到目前為止，讀者已經(jīng)到了新的境界，山中有山。
9.山水合一——Attention的多種變種及他們的內(nèi)在關(guān)聯(lián)
就跟CNN可以搭建起非常厲害的檢測(cè)模型或者更高級(jí)的模型一樣，attention的最厲害的地方，是它可以作為基本模塊搭建起非常復(fù)雜的（用來灌水的）模型。
這里簡(jiǎn)單列舉一些attention的變種[13]。首先是全局attention和部分attention。
全局attention就是上面講的，部分attention主要是還允許某些特征在做attention之前先做融合，再進(jìn)一步attention。最近爆火的swin transformer就可以看作是把這個(gè)變種發(fā)揚(yáng)光大了。
接下來是hard attention和soft attention。
之前我們講的基本都是soft attention。但是站到采樣的角度來講，我們可以考慮hard attention，把概率當(dāng)成一個(gè)分布，然后再進(jìn)行多項(xiàng)式采樣。這個(gè)或許在強(qiáng)化學(xué)習(xí)里面，有啟發(fā)性作用。
最近又有一堆覺得MLP也挺強(qiáng)的工作[14]。筆者認(rèn)為，他們也是參考了attention的模式，采用了不同的結(jié)構(gòu)達(dá)到同一種效果。當(dāng)然，說不定attention最后會(huì)落到被MLP吊打的下場(chǎng)。
但是attention的理念，永遠(yuǎn)不會(huì)過時(shí)。attention作為最樸素也最強(qiáng)大的數(shù)據(jù)關(guān)系建?；灸K，必將成為每個(gè)AI人的基本功。
還有不會(huì)過時(shí)的是對(duì)數(shù)據(jù)的理解和分析能力。上面介紹了大量的模型，但是真正我們能夠求解好某個(gè)特定的問題，還得來源于對(duì)問題結(jié)構(gòu)的充分認(rèn)知。這個(gè)話題有機(jī)會(huì)我們?cè)俾懻摗?/span>
到這里已經(jīng)到了第九層山水合一的境界。萬象歸春，所有的模型都只是促進(jìn)我們對(duì)數(shù)據(jù)的深入認(rèn)知而已。
一網(wǎng)打盡Pandas中的各種索引 iloc,loc,ix,iat,at,直接索引
覺得有用給個(gè)在看吧 