【關(guān)于 AAAI 2021 之 關(guān)系抽取論文串燒】那些你不知道的事

作者：楊夕

論文學(xué)習(xí)項(xiàng)目地址：https://github.com/km1994/nlp_paper_study

《NLP 百面百搭》地址：https://github.com/km1994/NLP-Interview-Notes

個(gè)人介紹：大佬們好，我叫楊夕，該項(xiàng)目主要是本人在研讀頂會(huì)論文和復(fù)現(xiàn)經(jīng)典論文過(guò)程中，所見(jiàn)、所思、所想、所聞，可能存在一些理解錯(cuò)誤，希望大佬們多多指正。

NLP && 推薦學(xué)習(xí)群【人數(shù)滿了，加微信 blqkm601 】

1.3 關(guān)系抽取

【FL-MSRE: A Few-Shot Learning Based Approach to Multimodal Social Relation Extraction（L-MSRE）】

• 介紹：社會(huì)關(guān)系抽?。ê?jiǎn)稱(chēng)SRE）旨在推斷日常生活中兩個(gè)人之間的社會(huì)關(guān)系，在現(xiàn)實(shí)中已被證明具有重要價(jià)值。

• 動(dòng)機(jī)：現(xiàn)有的 SRE 方法只考慮從文本或圖像等單模態(tài)信息中提取社會(huì)關(guān)系，而忽略了多模態(tài)信息中的高耦合。而且，以往的研究忽視了社會(huì)關(guān)系分布的嚴(yán)重失衡。

• 論文方法：提出了 FL-MSRE，這是一種基于少量學(xué)習(xí)的方法，用于從文本和面部圖像中提取社會(huì)關(guān)系。據(jù)我們所知，這是第一次嘗試同時(shí)利用文本和圖像進(jìn)行 SRE?？紤]到多模態(tài)社會(huì)關(guān)系數(shù)據(jù)集的缺乏，本文提出了三個(gè)多模態(tài)數(shù)據(jù)集，標(biāo)注了四個(gè)經(jīng)典杰作和相應(yīng)的電視劇。受 BERT 成功的啟發(fā)，我們提出了一個(gè)基于強(qiáng) BERT 的基線來(lái)僅從文本中提取社會(huì)關(guān)系。經(jīng)驗(yàn)表明，F(xiàn)L-MSRE 顯著優(yōu)于基線。這表明使用人臉圖像有利于基于文本的 SRE。進(jìn)一步的實(shí)驗(yàn)還表明，使用來(lái)自不同場(chǎng)景的兩張人臉圖像可以獲得與來(lái)自同一場(chǎng)景的相似性能。這意味著FL-MSRE適用于范圍廣泛的SRE應(yīng)用，其中關(guān)于不同人的面部圖像只能從不同場(chǎng)景中收集。

【Multi-View Inference for Relation Extraction with Uncertain Knowledge】

• 介紹：知識(shí)圖譜 (KG) 被廣泛用于促進(jìn)關(guān)系提取 (RE) 任務(wù)。

• 動(dòng)機(jī)：雖然大多數(shù)先前的 RE 方法都專(zhuān)注于利用確定性 KG，但不確定 KG 為每個(gè)關(guān)系實(shí)例分配置信度分?jǐn)?shù)，可以提供關(guān)系事實(shí)的先驗(yàn)概率分布作為 RE 模型的寶貴外部知識(shí)。

• 論文方法：提出利用不確定知識(shí)來(lái)改進(jìn)關(guān)系抽取。具體來(lái)說(shuō)，我們將 ProBase，一個(gè)不確定的 KG，指示目標(biāo)實(shí)體在多大程度上屬于一個(gè)概念，到我們的 RE 架構(gòu)中。然后，我們?cè)O(shè)計(jì)了一個(gè)新穎的多視圖推理框架，以系統(tǒng)地整合三個(gè)視圖中的本地上下文和全局知識(shí)：提及視圖、實(shí)體視圖和概念視圖。

• 實(shí)驗(yàn)結(jié)果表明，我們的模型在句子級(jí)和文檔級(jí)關(guān)系提取方面都取得了有競(jìng)爭(zhēng)力的性能，這驗(yàn)證了引入不確定知識(shí)和我們?cè)O(shè)計(jì)的多視圖推理框架的有效性。

【GDPNet: Refining Latent Multi-View Graph for Relation Extraction（GDPNet）】

• 介紹：關(guān)系提取（RE）是預(yù)測(cè)一段文本中提到的兩個(gè)實(shí)體的關(guān)系類(lèi)型，例如句子或?qū)υ挕?/p>

• 動(dòng)機(jī)：當(dāng)給定的文本很長(zhǎng)時(shí)，識(shí)別用于關(guān)系預(yù)測(cè)的指示詞是很有挑戰(zhàn)性的。RE 任務(wù)的最新進(jìn)展來(lái)自基于 BERT 的序列建模和基于圖的序列中標(biāo)記之間關(guān)系的建模。

• 論文方法：建議構(gòu)建一個(gè)潛在的多視圖圖來(lái)捕獲令牌之間的各種可能關(guān)系。然后我們細(xì)化這個(gè)圖來(lái)選擇重要的詞進(jìn)行關(guān)系預(yù)測(cè)。最后，將細(xì)化圖的表示和基于 BERT 的序列表示連接起來(lái)以進(jìn)行關(guān)系提取。具體來(lái)說(shuō)，在我們提出的 GDPNet（高斯動(dòng)態(tài)時(shí)間扭曲池化網(wǎng)絡(luò)）中，我們利用高斯圖生成器 (GGG) 來(lái)生成多視圖圖的邊。然后通過(guò)動(dòng)態(tài)時(shí)間扭曲池 (DTWPool) 對(duì)圖形進(jìn)行細(xì)化。

• 實(shí)驗(yàn)結(jié)果：在 DialogRE 和 TACRED 上，我們表明 GDPNet 在對(duì)話級(jí) RE 上實(shí)現(xiàn)了最佳性能，并且在句子級(jí) RE 上與最先進(jìn)的性能相當(dāng)。

【Progressive Multi-Task Learning with Controlled information Flow for Joint Entity and Relation Extraction】

• 介紹：多任務(wù)學(xué)習(xí)在同時(shí)學(xué)習(xí)多個(gè)相關(guān)任務(wù)方面表現(xiàn)出良好的性能，并且已經(jīng)提出了模型架構(gòu)的變體，特別是對(duì)于監(jiān)督分類(lèi)問(wèn)題。多任務(wù)學(xué)習(xí)的一個(gè)目標(biāo)是提取一個(gè)良好的表征，該表征能夠充分捕獲每個(gè)學(xué)習(xí)任務(wù)的輸出的相關(guān)輸入部分。

• 動(dòng)機(jī)：為了實(shí)現(xiàn)這一目標(biāo)，本文基于觀察到一些相關(guān)任務(wù)（實(shí)體識(shí)別和關(guān)系提取任務(wù)）的輸出之間存在相關(guān)性

• 論文方法：設(shè)計(jì)了一個(gè)多任務(wù)學(xué)習(xí)架構(gòu)，它們反映了需要從輸入中提取的相關(guān)特征。由于未觀察到輸出，我們提出的模型利用神經(jīng)模型較低層的任務(wù)預(yù)測(cè)，在這項(xiàng)工作中也稱(chēng)為早期預(yù)測(cè)。但是我們控制早期預(yù)測(cè)的注入，以確保我們提取出良好的特定于任務(wù)的表示進(jìn)行分類(lèi)。我們將此模型稱(chēng)為具有顯式交互（PMEI）的漸進(jìn)式多任務(wù)學(xué)習(xí)模型。

• 實(shí)驗(yàn)結(jié)果：在多個(gè)基準(zhǔn)數(shù)據(jù)集上的大量實(shí)驗(yàn)在聯(lián)合實(shí)體和關(guān)系提取任務(wù)上產(chǎn)生了最先進(jìn)的結(jié)果

【Curriculum-Meta Learning for Order-Robust Continual Relation Extraction】 【github】

• 介紹：連續(xù)關(guān)系提取是一項(xiàng)重要的任務(wù)，它側(cè)重于從非結(jié)構(gòu)化文本中逐步提取新的事實(shí)。

• 動(dòng)機(jī)：鑒于關(guān)系的先后到達(dá)順序，這項(xiàng)任務(wù)容易面臨兩個(gè)嚴(yán)重的挑戰(zhàn)，即災(zāi)難性遺忘和順序敏感性。

• 論文方法：提出了一種新的課程元學(xué)習(xí)方法來(lái)解決連續(xù)關(guān)系提取中的上述兩個(gè)挑戰(zhàn)。

• 將元學(xué)習(xí)和課程學(xué)習(xí)相結(jié)合，以快速使模型參數(shù)適應(yīng)新任務(wù)，并減少先前任務(wù)對(duì)當(dāng)前任務(wù)的干擾。

• 通過(guò)關(guān)系的域和范圍類(lèi)型的分布設(shè)計(jì)了一種新穎的關(guān)系表示學(xué)習(xí)方法。這種表示被用來(lái)量化課程構(gòu)建任務(wù)的難度。

• 提出了新的基于難度的指標(biāo)來(lái)定量測(cè)量給定模型的順序敏感程度，

• 提出了評(píng)估模型穩(wěn)健性的新方法。

• 實(shí)驗(yàn)結(jié)果：在三個(gè)基準(zhǔn)數(shù)據(jù)集上的綜合實(shí)驗(yàn)表明，我們提出的方法優(yōu)于最先進(jìn)的技術(shù)。

【Document-Level Relation Extraction with Reconstruction】

• 介紹：在文檔級(jí)關(guān)系提?。―ocRE）中，圖結(jié)構(gòu)通常用于對(duì)輸入文檔中的關(guān)系信息進(jìn)行編碼，以對(duì)每個(gè)實(shí)體對(duì)之間的關(guān)系類(lèi)別進(jìn)行分類(lèi)，并且在過(guò)去幾年中極大地推進(jìn)了 DocRE 任務(wù)。

• 動(dòng)機(jī)：無(wú)論這些實(shí)體對(duì)之間是否存在關(guān)系，學(xué)習(xí)到的圖表示都可以通用地對(duì)所有實(shí)體對(duì)之間的關(guān)系信息進(jìn)行建模。因此，那些沒(méi)有關(guān)系的實(shí)體對(duì)分散了編碼器-分類(lèi)器 DocRE 對(duì)有關(guān)系的注意力，這可能會(huì)進(jìn)一步阻礙 DocRE 的改進(jìn)。

• 論文方法：為 DocRE 提出了一種新穎的編碼器-分類(lèi)器-重構(gòu)器模型。重建器設(shè)法從圖表示中重建真實(shí)路徑依賴(lài)關(guān)系，以確保所提出的 DocRE 模型更加關(guān)注在訓(xùn)練中對(duì)具有關(guān)系的實(shí)體對(duì)進(jìn)行編碼。此外，在推理中將重構(gòu)器作為關(guān)系指標(biāo)來(lái)輔助關(guān)系分類(lèi)，可以進(jìn)一步提高DocRE模型的性能。

• 實(shí)驗(yàn)結(jié)果：在大規(guī)模 DocRE 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提出的模型可以顯著提高基于強(qiáng)異構(gòu)圖的基線關(guān)系提取的準(zhǔn)確性。

【Document-Level Relation Extraction with Adaptive Thresholding and Localized Context Pooling(ATLOP )】 【github】

• 動(dòng)機(jī)：與其句子級(jí)對(duì)應(yīng)物相比，文檔級(jí)關(guān)系提取 (RE) 提出了新的挑戰(zhàn)。一個(gè)文檔通常包含多個(gè)實(shí)體對(duì)，一個(gè)實(shí)體對(duì)在與多個(gè)可能關(guān)系相關(guān)聯(lián)的文檔中多次出現(xiàn)。

• 論文方法：提出了兩種新技術(shù)，自適應(yīng)閾值化和局部上下文池化，以解決多標(biāo)簽和多實(shí)體問(wèn)題。

• 自適應(yīng)閾值用可學(xué)習(xí)的實(shí)體相關(guān)閾值代替了先前工作中用于多標(biāo)簽分類(lèi)的全局閾值。

• 局部上下文池化直接將注意力從預(yù)先訓(xùn)練的語(yǔ)言模型轉(zhuǎn)移到定位對(duì)確定關(guān)系有用的相關(guān)上下文。

• 實(shí)驗(yàn)結(jié)果：在三個(gè)文檔級(jí) RE 基準(zhǔn)數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)：DocRED，一個(gè)最近發(fā)布的大規(guī)模 RE 數(shù)據(jù)集，以及生物醫(yī)學(xué)領(lǐng)域的兩個(gè)數(shù)據(jù)集 CDR 和 GDA。我們的 ATLOP（自適應(yīng)閾值和本地化上下文池）模型達(dá)到了 63.4 的 F1 分?jǐn)?shù)，并且在 CDR 和 GDA 上也顯著優(yōu)于現(xiàn)有模型。

【Entity Structure Within and Throughout: Modeling Mention Dependencies for Document Level Relation Extraction（SSAN）】 【PaddlePaddle/Research】 【BenfengXu/SSAN】

• 介紹：實(shí)體作為關(guān)系抽取任務(wù)的基本要素，具有一定的結(jié)構(gòu)。

• 論文方法：在這項(xiàng)工作中，我們將這樣的結(jié)構(gòu)表述為提及對(duì)之間的獨(dú)特依賴(lài)關(guān)系。然后我們提出了 SSAN，它在標(biāo)準(zhǔn)的自注意力機(jī)制和整個(gè)編碼階段中結(jié)合了這些結(jié)構(gòu)依賴(lài)。具體來(lái)說(shuō)，我們?cè)诿總€(gè)自注意力構(gòu)建塊內(nèi)設(shè)計(jì)了兩個(gè)替代轉(zhuǎn)換模塊，以產(chǎn)生注意力偏差，從而自適應(yīng)地調(diào)整其注意力流。

• 實(shí)驗(yàn)結(jié)果：實(shí)驗(yàn)證明了所提出的實(shí)體結(jié)構(gòu)的有用性和 SSAN 的有效性。它顯著優(yōu)于競(jìng)爭(zhēng)基線，在三個(gè)流行的文檔級(jí)關(guān)系提取數(shù)據(jù)集上取得了最新的最新結(jié)果。我們進(jìn)一步提供消融和可視化來(lái)展示實(shí)體結(jié)構(gòu)如何指導(dǎo)模型以更好地提取關(guān)系。

【Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training( MULTICAST)】

• 介紹：隨著遠(yuǎn)程監(jiān)督 (DS) 關(guān)系提取 (RE) 的最新進(jìn)展，利用多實(shí)例學(xué)習(xí) (MIL) 從嘈雜的 DS 中提取高質(zhì)量監(jiān)督受到了極大的關(guān)注。

• 動(dòng)機(jī)：在這里，我們超越標(biāo)簽噪聲，確定 DS-MIL 的關(guān)鍵瓶頸在于其數(shù)據(jù)利用率低：由于 MIL 對(duì)高質(zhì)量監(jiān)督進(jìn)行了細(xì)化，MIL 放棄了大量訓(xùn)練實(shí)例，導(dǎo)致數(shù)據(jù)利用率低并阻礙模型訓(xùn)練來(lái)自有豐富的監(jiān)督。

• 論文方法：提出了協(xié)同對(duì)抗訓(xùn)練來(lái)提高數(shù)據(jù)利用率，在不同層次上協(xié)調(diào)虛擬對(duì)抗訓(xùn)練（VAT）和對(duì)抗訓(xùn)練（AT）。具體來(lái)說(shuō)，由于 VAT 是無(wú)標(biāo)簽的，我們采用 instance-level VAT 來(lái)回收 MIL 放棄的實(shí)例。此外，我們?cè)诎?jí)部署AT，以釋放MIL 獲得的高質(zhì)量監(jiān)督的全部潛力。

• 實(shí)驗(yàn)結(jié)果：我們提出的方法為先前的技術(shù)水平帶來(lái)了持續(xù)的改進(jìn)（~5 絕對(duì) AUC 分?jǐn)?shù)），這驗(yàn)證了數(shù)據(jù)利用問(wèn)題的重要性和我們方法的有效性。

【Clinical Temporal Relation Extraction with Probabilistic Soft Logic Regularization and Global Inference（CTRL-PG）】 【github】

• 介紹：醫(yī)學(xué)界一直需要精確提取臨床事件之間的時(shí)間關(guān)系。特別是，時(shí)間信息可以促進(jìn)各種下游應(yīng)用，例如病例報(bào)告檢索和醫(yī)學(xué)問(wèn)答。

• 動(dòng)機(jī)：現(xiàn)有方法要么需要昂貴的特征工程，要么無(wú)法對(duì)事件之間的全局關(guān)系依賴(lài)性進(jìn)行建模。

來(lái)自典型的 CCR 文件的圖表，具有三種常見(jiàn)的時(shí)間關(guān)系類(lèi)型，“之前”、“之后”和“重疊”。Glucocortocoids 被描述為該患者的用藥史，發(fā)生在 COVID-19 確診之前并且抗體陽(yáng)性。nasal congestion 與 a mild cough 之間存在“重疊”時(shí)間關(guān)系。我們將上述臨床概念視為事件，而將一天后視為時(shí)間表達(dá)。事件與事件（E-E）、事件與時(shí)間表達(dá)（E-T）或時(shí)間表達(dá)與時(shí)間表達(dá)（T-T）之間可能存在時(shí)間關(guān)系。

• 論文方法：提出了具有概率軟邏輯正則化和全局推理（CTRL-PG）的臨床時(shí)間關(guān)系提取，這是一種在文檔級(jí)別解決問(wèn)題的新方法。

• 實(shí)驗(yàn)結(jié)果：在兩個(gè)基準(zhǔn)數(shù)據(jù)集 I2B2-2012 和 TB-Dense 上的大量實(shí)驗(yàn)表明，CTRL-PG 顯著優(yōu)于用于時(shí)間關(guān)系提取的基線方法

【A Unified Multi-Task Learning Framework for Joint Extraction of Entities and Relations】

• 介紹：實(shí)體和關(guān)系的聯(lián)合提取側(cè)重于使用統(tǒng)一模型同時(shí)檢測(cè)實(shí)體對(duì)及其關(guān)系。

• 動(dòng)機(jī)：基于提取順序，以前的工作主要通過(guò)關(guān)系最后、關(guān)系第一和關(guān)系中間的方式來(lái)解決這個(gè)任務(wù)。然而，這些方法仍然存在模板依賴(lài)、非實(shí)體檢測(cè)和非預(yù)定義關(guān)系預(yù)測(cè)問(wèn)題。

• 論文方法：提出了一個(gè)統(tǒng)一的多任務(wù)學(xué)習(xí)框架，將任務(wù)劃分為三個(gè)相互作用的子任務(wù)。

• 首先介紹了用于主題提取的類(lèi)型注意方法，以明確提供先驗(yàn)類(lèi)型信息。

• 然后，提出了基于全局和局部語(yǔ)義組合的主題感知關(guān)系預(yù)測(cè)來(lái)選擇有用的關(guān)系。

• 第三，我們提出了一種基于問(wèn)題生成的 QA 方法，用于對(duì)象提取以自動(dòng)獲取不同的查詢。值得注意的是，我們的方法在不依賴(lài)于 NER 模型的情況下檢測(cè)主題或?qū)ο?，因此它能夠處理非?shí)體場(chǎng)景。

• 最后通過(guò)參數(shù)共享將三個(gè)子任務(wù)集成為一個(gè)統(tǒng)一的模型。

• 實(shí)驗(yàn)結(jié)果：實(shí)驗(yàn)表明所提出的框架在兩個(gè)基準(zhǔn)數(shù)據(jù)集上的性能優(yōu)于所有基線方法，并進(jìn)一步在非預(yù)定義關(guān)系上取得了優(yōu)異的性能。