【NLP】可交互的 Attention 可視化工具！我的Transformer可解釋性有救了？
文 | Sherry
視覺是人和動物最重要的感覺，至少有80%以上的外界信息是經(jīng)過視覺獲得的。我們看論文的時候，通過圖表來確定文章的大致內(nèi)容往往也是一個更高效的 說到深度神經(jīng)網(wǎng)絡(luò)的可視化，最經(jīng)典的莫過于的CNN密恐圖了：
這種可視化方法可以讓我們清晰的知道每一層的每一個Cell關(guān)注何種信息，模型最后是如何逐層迭代處理得到最后的判斷。但是對NLP而言，文字并不容易轉(zhuǎn)換成這樣直觀的視覺表示。對Transformer而言，理解注意力機制是最為關(guān)鍵的一步。比較常見的一種注意力可視化是用灰度圖表示不同token之間的注意力權(quán)重：
但這種可視化的一大缺點是，每張圖只能表示一個注意力頭，我們很難獲得一個更直接的全局感受。
喬治亞理工最近提出了DODRIO，一種可交互的Attention可視化工具，從句法和寓意層面總結(jié)了不同注意力頭的信息。Transformer的可解釋性終于有救啦？
趕緊試試他們的Demo吧：
https://poloclub.github.io/dodrio/
論文題目：
DODRIO: Exploring Transformer Models with Interactive Visualization
論文鏈接：
http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf
Github:
https://poloclub.github.io/dodrio/
注意力頭概覽
在概覽圖中，我們可以看到不同層的不同注意力頭都化身成了大小，深淺不一的圓點。本文計算了幾種分?jǐn)?shù)并用顏色、深淺、大小來表示。
第一個是語義得分m：它是從注意力向量和顯著性得分的cosine相似度得到。
其中S表示的是每個token對模型最終預(yù)測的貢獻程度[1], 表示注意力權(quán)重。圓點顏色越紅，表示這個注意力頭對語義的貢獻越大。
接著是句法得分n: 我們使用最被關(guān)注的源token作為依賴關(guān)系預(yù)測的目標(biāo)，對于每個依賴關(guān)系，我們計算每個注意力頭在所有樣例上的平均準(zhǔn)確性。最后，將每個頭所有依賴關(guān)系中的最大值作為他的句法得分。圓點顏色越藍，表示這個注意力頭對句法的貢獻越大。
然后是重要性得分c：直接計算當(dāng)前頭的最大注意力權(quán)重在所有樣例上的平均
圓點顏色越大表示注意力頭對最終預(yù)測的貢獻越高。句法依賴
除了注意力頭概覽，本文根據(jù)依賴關(guān)系也給出了注意力頭的分析。
注意力權(quán)重可以被看作是模型對詞之間依賴關(guān)系的預(yù)測。切換到句法依賴的可視化之后，鼠標(biāo)移動到每個token都會高亮跟這個詞有關(guān)的注意力連接。在展開的依賴關(guān)系圖上還可以看到指定的關(guān)系在不同層的權(quán)重會如何變化。
語義關(guān)系圖
同樣，本文也對語義關(guān)系進行了可視化。
點擊每個概覽中的注意力頭即可展開在這個位置的注意力表示。顏色依然表示的是每個token的顯著性得分。
一些結(jié)論
本文的可視化方法再一次驗證了一些之前BERT可解釋性文章的結(jié)論。例如：BERT的中間層更關(guān)注句法信息，以及BERT最后1-2層是分類的關(guān)鍵等。
一個有意思的實驗是DistillBERT和BERT的可視化比較：
我們知道DistillBERT只用了40%的參數(shù)量達到了BERT97%的效果。用Dodrio來比較他們倆會發(fā)現(xiàn)什么呢？DistillBERT的所有注意力頭大小都差不多，進一步分析發(fā)現(xiàn)大多數(shù)頭的置信度都很接近1。另外，DistillBERT的亮度也更高一些，這表示整體每個頭對句法或者語義的關(guān)注度都不高。這些發(fā)現(xiàn)暗示我們，DistillBERT可能學(xué)到了語義和句法之外的信息。
作者：Sherry。
本科畢業(yè)于復(fù)旦數(shù)院，轉(zhuǎn)行NLP目前在加拿大滑鐵盧大學(xué)讀CS PhD。經(jīng)歷了從NOIer到學(xué)數(shù)學(xué)再重回CS的轉(zhuǎn)變，卻堅信AI的未來需要更多來數(shù)學(xué)和自認(rèn)知科學(xué)的理論指導(dǎo)。主要關(guān)注問答，信息抽取，以及有關(guān)深度模型泛化及魯棒性相關(guān)內(nèi)容。
[1].Visualizing and Understanding Neural Models in NLP (https://www.aclweb.org/anthology/N16-1082.pdf)
[2].DODRIO: Exploring Transformer Models with Interactive Visualization (http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf)
往期精彩回顧
本站qq群851320808，加入微信群請掃碼：
