大黑屄,看农村少妇澡B视频,操逼视频免费在线观看,精品欧美一区二区三区,在线看一级成人小电影,日韩高清一区二区三区四区,男女羞羞视频在线看,免费看男男gay啪啪网站3d

近日，ACL 2022錄用結(jié)果出爐，我組18篇論文被ACL 2022錄用，其中主會(huì)論文13篇，F(xiàn)indings論文5篇。以下為論文列表及介紹：

?一?

ACL?2022主會(huì)

Packed Levitated Marker for Entity and Relation Extraction

作者：葉德銘，林衍凱，李鵬，孫茂松

類型：Long Paper

摘要：最近的命名實(shí)體識(shí)別和關(guān)系抽取工作專注于研究如何從預(yù)訓(xùn)練模型中獲得更好的span表示。然而，許多工作忽略了span之間的相互關(guān)系。在這篇文章中，我們提出了一種基于懸浮標(biāo)記的span表示方法，我們?cè)诰幋a過(guò)程中通過(guò)特定策略打包標(biāo)記來(lái)考慮span之間的相互關(guān)系。對(duì)于命名實(shí)體識(shí)別任務(wù)，我們提出了一種面向鄰居span的打包策略，以更好地建模實(shí)體邊界信息。對(duì)于關(guān)系抽取任務(wù)，我們?cè)O(shè)計(jì)了一種面向頭實(shí)體的打包策略，將每個(gè)頭實(shí)體以及可能的尾實(shí)體打包，以共同建模同頭實(shí)體的span對(duì)。通過(guò)使用增強(qiáng)的標(biāo)記特征，我們的模型在六個(gè)NER數(shù)據(jù)集上優(yōu)于基線模型，并在ACE04/ACE05端到端關(guān)系抽取數(shù)據(jù)集上以更快的速度獲得了4 F1以上的提升。論文代碼開(kāi)源于https://github.com/thunlp/PL-Marker。該工作與騰訊微信模式識(shí)別中心合作完成。

QuoteR: A Benchmark of Quote Recommendation for Writing

作者：豈凡超，楊延輝，易靖，程志立，劉知遠(yuǎn)，孫茂松

類型：Long Paper

摘要：在寫作中人們經(jīng)常引用名言名句來(lái)提高文章文采和說(shuō)服力。為了幫助人們更快地找到合適的名言名句，研究者提出了名言名句推薦任務(wù)。該任務(wù)旨在自動(dòng)推薦適合當(dāng)前上下文的名言名句?，F(xiàn)在已經(jīng)有許多名言名句推薦方法，但是他們的評(píng)測(cè)基于不同的未公開(kāi)數(shù)據(jù)集。為了推進(jìn)這一領(lǐng)域的研究，我們構(gòu)建了一個(gè)名為QuoteR的大規(guī)模名言名句推薦數(shù)據(jù)集。該數(shù)據(jù)集完全公開(kāi)，由英語(yǔ)、現(xiàn)代漢語(yǔ)、古詩(shī)文三部分構(gòu)成，每一部分都比此前的相應(yīng)未公開(kāi)數(shù)據(jù)集要大?；谠摂?shù)據(jù)集，我們對(duì)此前的所有名言名句推薦方法進(jìn)行了公平而詳盡的評(píng)測(cè)。此外，我們還提出了一個(gè)名言名句推薦模型，其性能顯著超過(guò)前人方法。

以下為根據(jù)上下文“從盤面上看，股票價(jià)格會(huì)呈現(xiàn)某種帶漂移的無(wú)規(guī)則行走，漲跌無(wú)常，難以捉摸。[Quote],這話放在投資領(lǐng)域也同樣受用。事物是在不斷變化的，歷史數(shù)據(jù)只能起一定程度的參考作用。投資者想憑借歷史數(shù)據(jù)準(zhǔn)確預(yù)測(cè)未來(lái)幾乎是不可能的。”推薦的名言示例：

MSP: Multi-Stage Prompting for Making Pre-trained Language Models Better Translators

作者：譚知行，張祥文，王碩，劉洋

類型：Long Paper

摘要：提示方法在近期已成為應(yīng)用預(yù)訓(xùn)練模型到下游任務(wù)的前沿方法。我們提出多階段提示，一種簡(jiǎn)單且自動(dòng)的應(yīng)用預(yù)訓(xùn)練模型到翻譯任務(wù)上的方法。為了更好地減少預(yù)訓(xùn)練與翻譯之間的差異，多階段提示將使用預(yù)訓(xùn)練模型進(jìn)行翻譯的過(guò)程分解為三個(gè)獨(dú)立的階段：編碼階段、再編碼階段、解碼階段。在每個(gè)階段，我們獨(dú)立地采用連續(xù)型提示來(lái)使得預(yù)訓(xùn)練模型能夠更好地轉(zhuǎn)移到翻譯任務(wù)上。實(shí)驗(yàn)表明我們的方法能夠顯著提升預(yù)訓(xùn)練模型進(jìn)行機(jī)器翻譯的性能。

Integrating Vectorized Lexical Constraints for Neural Machine Translation?

作者：王碩，譚知行，劉洋

類型：Long Paper

摘要：詞匯化約束的神經(jīng)機(jī)器翻譯(NMT)使用預(yù)先指定的短語(yǔ)對(duì)來(lái)控制的NMT模型的生成結(jié)果。該任務(wù)在許多實(shí)際場(chǎng)景中有著重要的意義。但是，由于NMT模型內(nèi)部是連續(xù)的向量，和離散的詞匯約束存在著表示形式上的差異。現(xiàn)有的大多數(shù)工作都講NMT模型視作一個(gè)黑盒子，僅在數(shù)據(jù)層面或者解碼算法上施加詞匯約束，不考慮其模型內(nèi)部的信息處理方式。在本工作中，我們將離散的詞匯約束進(jìn)行向量化，將其映射為注意力機(jī)制可以直接利用的連續(xù)型鍵(key)和值(value)，從而可以直接將約束集成到NMT模型中。實(shí)驗(yàn)結(jié)果表明，我們的方法在四個(gè)語(yǔ)言對(duì)上始終優(yōu)于幾個(gè)具有代表性的基線方法。

Pass off Fish Eyes for Pearls: Attacking Model Selection of Pre-trained Models

作者：朱璧如，秦禹嘉，豈凡超，鄧仰東，劉知遠(yuǎn)，孫茂松，顧明

類型：Long Paper

摘要：為特定的下游任務(wù)選擇合適的預(yù)訓(xùn)練模型 (PTM) 通常需要在該下游任務(wù)上微調(diào)來(lái)確定，然而這一過(guò)程是十分緩慢的。為了加速這一過(guò)程，研究人員提出了基于特征的模型選擇 (FMS) 方法，該方法無(wú)需微調(diào)即可快速評(píng)估 PTM 對(duì)特定任務(wù)的可遷移性。在這項(xiàng)工作中，我們認(rèn)為當(dāng)前的 FMS 方法具有安全方面的隱患。為了驗(yàn)證我們的觀點(diǎn)，我們分別從模型層面和數(shù)據(jù)層面設(shè)計(jì)了兩種算法評(píng)估FMS的魯棒性。實(shí)驗(yàn)結(jié)果證明，這兩種方法都能成功地使 FMS 錯(cuò)誤地判斷PTM的可遷移性。我們的研究指出了提高FMS魯棒性的新方向。該工作與清華大學(xué)軟件學(xué)院鄧仰東老師團(tuán)隊(duì)合作完成。

PPT: Pre-trained Prompt Tuning for Few-shot Learning

作者：顧煜賢，韓旭，劉知遠(yuǎn)，黃民烈

類型：Long Paper

摘要：隨著預(yù)訓(xùn)練語(yǔ)言模型的參數(shù)量越來(lái)越大，如何高效地將大模型向下游任務(wù)適配逐漸受到研究者們的關(guān)注。最近，一種被稱為 prompt tuning 的方法提供了一種可能的解決方式。這種方法通過(guò)在固定整體模型參數(shù)的情況下，端到端地調(diào)整拼接在輸入前的一組 soft prompt，從而在下游數(shù)據(jù)充足的情況下達(dá)到和訓(xùn)練整體模型參數(shù)相當(dāng)?shù)慕Y(jié)果。但是，我們發(fā)現(xiàn) soft prompt 的優(yōu)化較為困難，導(dǎo)致 prompt tuning 在數(shù)據(jù)量較少的情況下性能較差。因此，我們提出了一個(gè)新的訓(xùn)練框架 PPT (Pre-trained Prompt Tuning)。在這個(gè)框架中，為了解決 soft prompt 優(yōu)化困難的問(wèn)題，我們將 soft prompt 先在無(wú)標(biāo)注數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練，從而得到一個(gè)較好的初始化，然后再通過(guò)上述的 prompt tuning 向下游任務(wù)適配。為了提升我們框架的通用性，我們將多個(gè)經(jīng)典的文本分類任務(wù)歸為了三種形式，并為每種形式分別設(shè)計(jì)了一種預(yù)訓(xùn)練任務(wù)。我們通過(guò)大量的實(shí)驗(yàn)證明，PPT 框架可以顯著提升 prompt tuning 在少數(shù)據(jù)場(chǎng)景下的性能，達(dá)到甚至超過(guò)模型整體參數(shù)微調(diào)的水平。并且，在數(shù)據(jù)量增多時(shí)，PPT 的優(yōu)勢(shì)仍然可以保持。該工作與清華大學(xué)黃民烈老師團(tuán)隊(duì)合作完成。

Prototypical Verbalizer for Prompt-based Few-shot Tuning

作者：崔淦渠，胡聲鼎，丁寧，黃龍濤，劉知遠(yuǎn)

類型：Long Paper

摘要：針對(duì)預(yù)訓(xùn)練語(yǔ)言模型(PLM)的提示微調(diào)(prompt-based tuning)在少次學(xué)習(xí)中十分有效。通常，提示微調(diào)會(huì)將輸入文本包裝成填空問(wèn)題。為了做出預(yù)測(cè)，這種方法通過(guò)一個(gè)表達(dá)器(verbalizer)將輸出的單詞映射到標(biāo)簽上。該表達(dá)器可以是人工設(shè)計(jì)的，也可以是自動(dòng)構(gòu)建的。然而，人工表達(dá)器嚴(yán)重依賴于特定領(lǐng)域的先驗(yàn)知識(shí)，而自動(dòng)尋找合適的標(biāo)簽詞仍然是一項(xiàng)挑戰(zhàn)，本文提出了直接從訓(xùn)練數(shù)據(jù)中構(gòu)建的原型表達(dá)器ProtoVerb。具體而言，ProtoVerb通過(guò)對(duì)比學(xué)習(xí)將學(xué)到的原型(prototype)向量作為表達(dá)器。通過(guò)這種方式，原型歸納了訓(xùn)練實(shí)例，并且能夠包含豐富的類級(jí)別語(yǔ)義。我們?cè)谥黝}分類和實(shí)體分類任務(wù)上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，ProtoVerb的性能明顯優(yōu)于現(xiàn)有的自動(dòng)生成的表達(dá)器，特別是在訓(xùn)練數(shù)據(jù)極其匱乏的場(chǎng)景下。更令人驚訝的是，即使是在未微調(diào)的預(yù)訓(xùn)練語(yǔ)言模型上，ProtoVerb也能夠提升提示微調(diào)的性能，這表明ProtoVerb也是一種優(yōu)雅的非微調(diào)預(yù)訓(xùn)練模型利用方式。該工作與阿里AAIG自然語(yǔ)言處理實(shí)驗(yàn)室黃龍濤老師團(tuán)隊(duì)合作完成。

bert2BERT: Towards Reusable Pretrained Language Models

作者：陳誠(chéng)，尹伊淳，尚利峰，蔣欣，秦禹嘉，王鳳玉，王智，陳曉，劉知遠(yuǎn)，劉群

類型：Long Paper

摘要：近年來(lái)，研究人員傾向于不斷訓(xùn)練更大的語(yǔ)言模型，以探索深度模型的上限。然而，大型語(yǔ)言模型預(yù)訓(xùn)練需要消耗大量的計(jì)算資源，并且大多數(shù)模型都是從頭開(kāi)始訓(xùn)練的，沒(méi)有重復(fù)利用現(xiàn)有的預(yù)訓(xùn)練模型，這是一種浪費(fèi)。在本文中，我們提出了bert2BERT，它可以通過(guò)參數(shù)初始化有效地將現(xiàn)有較小的預(yù)訓(xùn)練模型的知識(shí)轉(zhuǎn)移到大型模型，提高大模型的預(yù)訓(xùn)練效率。具體來(lái)說(shuō)，我們?cè)诨?Transformer 的語(yǔ)言模型上擴(kuò)展了之前的Net2Net方法。此外，我們提出了一種兩階段的預(yù)訓(xùn)練方法，以進(jìn)一步加快訓(xùn)練過(guò)程。我們對(duì)具有代表性的 PLM（例如，BERT 和 GPT）進(jìn)行了廣泛的實(shí)驗(yàn)，并證明 (1) 我們的方法與從頭開(kāi)始學(xué)習(xí)、StackBERT和 MSLT在內(nèi)的基線方法相比可以節(jié)省大量的訓(xùn)練成本; (2) 我們的方法是通用的，適用于不同類型的預(yù)訓(xùn)練模型。該工作由華為諾亞實(shí)驗(yàn)室劉群老師團(tuán)隊(duì)主導(dǎo)完成。

?Cross-Lingual Contrastive Learning for Fine-Grained Entity Typing for Low-Resource Languages

作者：韓旭，羅宇琦，陳暐澤，劉知遠(yuǎn)，孫茂松，周伯通，費(fèi)昊，鄭孫聰

類型：Long?Paper

摘要：細(xì)粒度實(shí)體分類（Fine-grained Entity Typing，F(xiàn)GET）旨在為文本中的實(shí)體標(biāo)注細(xì)粒度實(shí)體類型，這對(duì)于諸多與實(shí)體相關(guān)的 NLP 任務(wù)具有重要意義。FGET 的一個(gè)關(guān)鍵挑戰(zhàn)是資源不足問(wèn)題 —— 為擁有復(fù)雜層次結(jié)構(gòu)的實(shí)體類型來(lái)講，手動(dòng)標(biāo)記數(shù)據(jù)比較困難，尤其對(duì)于英語(yǔ)以外的語(yǔ)言來(lái)講，人工標(biāo)注的數(shù)據(jù)更是十分稀缺。在本文中，我們提出一個(gè)跨語(yǔ)言對(duì)比學(xué)習(xí)框架來(lái)學(xué)習(xí)低資源語(yǔ)言上的 FGET 模型。具體來(lái)說(shuō)，我們以多語(yǔ)言預(yù)訓(xùn)練語(yǔ)言模型作為模型主干，幫助將實(shí)體分類所需知識(shí)從資源豐富的語(yǔ)言（如英語(yǔ)）轉(zhuǎn)移到資源匱乏的語(yǔ)言（如中文）。此外，我們引入了基于實(shí)體對(duì)的啟發(fā)式規(guī)則以及機(jī)器翻譯來(lái)獲取跨語(yǔ)言遠(yuǎn)程監(jiān)督數(shù)據(jù)，并在遠(yuǎn)程監(jiān)督數(shù)據(jù)上實(shí)施跨語(yǔ)言對(duì)比學(xué)習(xí)來(lái)增強(qiáng)模型的實(shí)體分類能力。實(shí)驗(yàn)結(jié)果表明，基于上述框架，可以較為輕松地為低資源語(yǔ)言學(xué)習(xí)有效的 FGET 模型，即使沒(méi)有任何特定語(yǔ)言的人工標(biāo)記數(shù)據(jù)。該工作與騰訊 TencentNLP Oteam 鄭孫聰老師團(tuán)隊(duì)合作完成。

Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification

作者：胡聲鼎，丁寧，汪華東，劉知遠(yuǎn)，王金剛，李涓子，武威，孫茂松

類型：Long Paper

摘要：使用特定任務(wù)提示微調(diào)(prompt-tuning)預(yù)訓(xùn)練語(yǔ)言模型(PLM)是一種很有前景的文本分類方法。先前的研究表明，與具有額外分類器的普通微調(diào)方法相比，提示微調(diào)在低數(shù)據(jù)場(chǎng)景中具有顯著優(yōu)勢(shì)。提示微調(diào)的核心思想是在輸入中插入文本片段，即模板，并將分類問(wèn)題轉(zhuǎn)換為掩碼語(yǔ)言建模(MLM)問(wèn)題，其中關(guān)鍵步驟是在標(biāo)簽空間和標(biāo)簽詞空間之間構(gòu)建投影，即表達(dá)器(verbalizer)。表達(dá)器通常是手工制作或通過(guò)梯度下降搜索的，這可能缺乏覆蓋范圍，并給結(jié)果帶來(lái)相當(dāng)大的偏差和高方差。在這項(xiàng)工作中，我們專注于將外部知識(shí)整合到表達(dá)器中，形成知識(shí)增強(qiáng)的提示微調(diào)方法(KPT)，以改善和穩(wěn)定表達(dá)器。具體來(lái)說(shuō)，我們使用外部知識(shí)庫(kù)(KB)擴(kuò)展表達(dá)器的標(biāo)簽詞空間，并在使用擴(kuò)展的標(biāo)簽詞空間進(jìn)行預(yù)測(cè)之前使用預(yù)訓(xùn)練模型本身對(duì)擴(kuò)展的標(biāo)簽詞空間進(jìn)行細(xì)化。零樣本和少樣本文本分類任務(wù)的廣泛實(shí)驗(yàn)證明了知識(shí)增強(qiáng)的提示微調(diào)的有效性。該工作與美團(tuán)搜索與NLP部門合作完成。

Fully Hyperbolic Neural Networks

作者：陳暐澤，韓旭，林衍凱，趙和旭，劉知遠(yuǎn)，李鵬，孫茂松，周杰

類型：Long Paper

摘要：雙曲神經(jīng)網(wǎng)絡(luò)在復(fù)雜數(shù)據(jù)建模方面有著巨大潛力。然而，現(xiàn)有的大部分雙曲神經(jīng)網(wǎng)絡(luò)并不能稱之為「完全雙曲」的，因?yàn)樗鼈儍H是在雙曲空間中編碼特征，而仍在雙曲空間原點(diǎn)的切空間（一個(gè)歐幾里得子空間）中進(jìn)行大部分操作。在不同的空間中頻繁切換引入額外的開(kāi)銷和不穩(wěn)定性。在本文中，我們提出了一個(gè)完全的雙曲框架，基于洛倫茲變換（包括Boost和Rotation）來(lái)建立基于洛倫茲模型的雙曲神經(jīng)網(wǎng)絡(luò)，以實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的基本操作。此外，我們還證明了現(xiàn)有雙曲神經(jīng)網(wǎng)絡(luò)所使用的切空間的線性變換是洛倫茲Rotation的一種松弛情況，且無(wú)法表達(dá)洛倫茲Boost，限制了現(xiàn)有雙曲神經(jīng)網(wǎng)絡(luò)的能力。在四個(gè)NLP任務(wù)上的實(shí)驗(yàn)結(jié)果表明，我們的方法在構(gòu)建淺層和深層網(wǎng)絡(luò)方面都有更好的表現(xiàn)。該工作與騰訊微信模式識(shí)別中心合作完成。

Program Transfer for Complex Question Answering over Knowledge Bases

作者：曹書林，史佳欣，姚子俊，呂鑫，侯磊，李涓子，劉知遠(yuǎn)，肖鏡輝，于濟(jì)凡，張含望

類型：Long Paper

摘要：在知識(shí)庫(kù)（KB）上回答復(fù)雜問(wèn)題的程序歸納法旨在將問(wèn)題分解為一個(gè)由多個(gè)函數(shù)組合而成的程序，程序在知識(shí)庫(kù)的執(zhí)行從而最終答案。程序歸納的學(xué)習(xí)依賴于給定知識(shí)庫(kù)的大量平行問(wèn)題-程序?qū)?。然而，?duì)于大多數(shù)知識(shí)庫(kù)來(lái)說(shuō)，通常是缺乏這樣的標(biāo)注的，這使得學(xué)習(xí)非常困難。在本文中，我們提出了Program Transfer的方法，其目的是利用富資源知識(shí)庫(kù)上的程序標(biāo)注作為外部監(jiān)督信號(hào)來(lái)幫助缺乏程序標(biāo)注的低資源知識(shí)庫(kù)的程序歸納。對(duì)于Program Transfer，我們?cè)O(shè)計(jì)了一個(gè)新穎的兩階段解析框架，并設(shè)計(jì)了一個(gè)高效的基于知識(shí)庫(kù)本體的剪枝策略。首先，一個(gè)Sketch解析器將問(wèn)題翻譯成sketch，即函數(shù)的組合；然后，給定問(wèn)題和sketch，一個(gè)參數(shù)分析器從知識(shí)庫(kù)中搜索具體的函數(shù)參數(shù)。在搜索過(guò)程中，我們結(jié)合知識(shí)庫(kù)的本體來(lái)調(diào)整搜索空間。在ComplexWebQuestions和WebQuestionSP上的實(shí)驗(yàn)表明，我們的方法明顯優(yōu)于SOTA方法，證明了Program Transfer和我們框架的有效性。該工作與清華大學(xué)李涓子老師團(tuán)隊(duì)和華為諾亞實(shí)驗(yàn)室劉群老師團(tuán)隊(duì)合作完成。

?A Simple but Effective Pluggable Entity Lookup Table for Pre-trained Language Models

作者：葉德銘，林衍凱，李鵬，孫茂松，劉知遠(yuǎn)

類型：Short Paper

摘要：預(yù)訓(xùn)練的語(yǔ)言模型難以記住大規(guī)模語(yǔ)料庫(kù)中豐富事實(shí)知識(shí)，對(duì)于出現(xiàn)頻率比較低的實(shí)體，預(yù)訓(xùn)練模型更容易遺忘它們的上下文信息。在本文中，我們通過(guò)聚合一個(gè)實(shí)體在不同句子中的的輸出表示，按照需求構(gòu)建了一個(gè)可插拔的實(shí)體詞表。構(gòu)建的詞向量可以兼容地插入句子中直接作為輸入，將實(shí)體知識(shí)注入預(yù)訓(xùn)練語(yǔ)言模型中。與之前的知識(shí)增強(qiáng)型模型相比，我們的方法只需要2‰~5%的預(yù)計(jì)算量，并且能夠從新領(lǐng)域文本獲取知識(shí)實(shí)現(xiàn)領(lǐng)域遷移。在知識(shí)探測(cè)任務(wù)和關(guān)系分類任務(wù)上的實(shí)驗(yàn)表明，我們的方法可以靈活地將知識(shí)注入BERT/RoBERTa/BART等多種不同架構(gòu)的預(yù)訓(xùn)練模型。該工作與騰訊微信模式識(shí)別中心合作完成。

?二?

Findings of ACL 2022

Sememe Prediction for BabelNet Synsets Using Multilingual and Multimodal Information

作者：豈凡超，呂傳承，劉知遠(yuǎn)，孟笑君，孫茂松，鄭海濤

類型：Long Paper

摘要：在語(yǔ)言學(xué)中，義原被定義為語(yǔ)義的最小單位。人工標(biāo)注單詞的義原知識(shí)庫(kù)已成功應(yīng)用到各種NLP任務(wù)中。然而，現(xiàn)有的義原知識(shí)庫(kù)只涵蓋了少數(shù)幾種語(yǔ)言，阻礙了義原的廣泛利用。針對(duì)這一問(wèn)題，文章提出了BabelNet同義詞集的義位預(yù)測(cè)任務(wù)(SPBS)，旨在基于BabelNet多語(yǔ)言百科詞典構(gòu)建多語(yǔ)言義原知識(shí)庫(kù)。通過(guò)自動(dòng)預(yù)測(cè)BabelNet同義詞集的義原，該同義詞集中的多個(gè)語(yǔ)言的詞將同時(shí)獲得義原注釋。然而，以往的SPBS方法并沒(méi)有充分利用BabelNet中豐富的信息。在本文中，我們利用BabelNet中的多語(yǔ)言同義詞、多語(yǔ)言定義和圖像來(lái)實(shí)現(xiàn)SPBS。我們?cè)O(shè)計(jì)了一個(gè)多模態(tài)信息融合模型，對(duì)這些信息進(jìn)行編碼和組合，進(jìn)行義原預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，我們的模型明顯優(yōu)于以前的方法。該工作與清華大學(xué)深圳研究院鄭海濤老師團(tuán)隊(duì)合作完成。

Going "Deeper": Structured Sememe Prediction via Transformer with Tree Attention

作者：葉奕寧，豈凡超，劉知遠(yuǎn)，孫茂松

類型：Long Paper

摘要：含有單詞和最小語(yǔ)義單位的義原知識(shí)庫(kù)在很多NLP任務(wù)中有較好的表現(xiàn)。由于人工構(gòu)建義原知識(shí)庫(kù)費(fèi)時(shí)費(fèi)力，一些研究試圖通過(guò)對(duì)未標(biāo)注詞語(yǔ)的義原進(jìn)行預(yù)測(cè)來(lái)實(shí)現(xiàn)自動(dòng)的知識(shí)庫(kù)構(gòu)建。然而已有的研究忽略了義原語(yǔ)義系統(tǒng)中非常重要的一部分——層次結(jié)構(gòu)。本篇工作中，我們首次嘗試結(jié)構(gòu)化的義原預(yù)測(cè)，即將單詞對(duì)應(yīng)的義原預(yù)測(cè)為樹(shù)狀結(jié)構(gòu)。同時(shí)，我們針對(duì)性地修改了注意力計(jì)算方法，由此設(shè)計(jì)了基于transformer的義原樹(shù)預(yù)測(cè)模型，并在實(shí)驗(yàn)中驗(yàn)證了它的有效性。我們也對(duì)模型的效果進(jìn)行了定量和定性的分析。本工作的代碼將會(huì)開(kāi)源。

Do Pre-trained Models Benefit Knowledge Graph Completion? A Reliable Evaluation and a Reasonable Approach

作者：呂鑫，林衍凱，曹藝馨，侯磊，李涓子，劉知遠(yuǎn)，李鵬，周杰

類型：Long?Paper

摘要：近年來(lái)，預(yù)訓(xùn)練語(yǔ)言模型（PLM）已被證明可以從大量文本中捕獲事實(shí)性知識(shí)，這促使了基于PLM的知識(shí)圖譜補(bǔ)全（KGC）模型的提出。然而，這些模型在性能上仍然落后于目前最佳的KGC模型。在本工作中，我們發(fā)現(xiàn)了這些模型性能較弱的兩個(gè)主要原因。即（1）不準(zhǔn)確的評(píng)估設(shè)定。在封閉世界假設(shè)（CWA）下的評(píng)估可能會(huì)低估基于PLM的KGC模型，因?yàn)檫@類模型引入了更多的外部知識(shí)；（2）對(duì)PLM的不恰當(dāng)利用。大多數(shù)基于PLM的KGC模型只是簡(jiǎn)單地將實(shí)體和關(guān)系的標(biāo)簽拼接起來(lái)作為輸入，這導(dǎo)致句子的不連貫，這無(wú)法利用PLM中的隱性知識(shí)。為了緩解這些問(wèn)題，我們提出了在開(kāi)放世界假設(shè)（OWA）下的更準(zhǔn)確的評(píng)估方式，即人工檢查不在知識(shí)圖譜中的知識(shí)的正確性。此外，我們還提出了一個(gè)新的基于PLM的KGC模型（PKGC）。其基本思想是將每個(gè)三元組及額外信息轉(zhuǎn)換為自然的提示句，并進(jìn)一步將其輸入PLM進(jìn)行分類。我們?cè)趦蓚€(gè)KGC數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，OWA在評(píng)估KGC方面更為可靠，尤其是在鏈接預(yù)測(cè)方面。此外，我們的PKCG模型在CWA和OWA設(shè)置下均取得了很好的性能。該工作與清華大學(xué)李涓子老師團(tuán)隊(duì)和騰訊微信模式識(shí)別中心周杰老師團(tuán)隊(duì)合作完成。

ELLE: Efficient Lifelong Pre-training for Emerging Data

作者：秦禹嘉，張家杰，林衍凱，劉知遠(yuǎn)，李鵬，孫茂松，周杰

類型：Long?Paper

摘要：當(dāng)前的預(yù)訓(xùn)練語(yǔ)言模型（PLM）通常使用固定的、不更新的數(shù)據(jù)進(jìn)行訓(xùn)練，而忽略了在現(xiàn)實(shí)世界場(chǎng)景中，各種來(lái)源的數(shù)據(jù)可能會(huì)不斷增長(zhǎng)，而這需要 PLM 能夠持續(xù)地整合各方面的信息。雖然這個(gè)目標(biāo)可以通過(guò)對(duì)所有新老數(shù)據(jù)重新大規(guī)模訓(xùn)練來(lái)實(shí)現(xiàn)，但眾所周知，這樣的過(guò)程在計(jì)算上是十分昂貴的。為此，我們提出了ELLE，旨在對(duì)新來(lái)的數(shù)據(jù)進(jìn)行高效的持續(xù)預(yù)訓(xùn)練。具體來(lái)說(shuō)，ELLE包括 (1) 功能維持的模型擴(kuò)展，它能夠靈活地?cái)U(kuò)展現(xiàn)有 PLM 的寬度和深度，以提高知識(shí)獲取的效率；(2) 預(yù)植領(lǐng)域提示詞（prompt），從而讓模型能夠更好地區(qū)分預(yù)訓(xùn)練期間學(xué)到的通用知識(shí)，正確地激發(fā)下游任務(wù)的知識(shí)。我們?cè)?BERT 和 GPT 上使用來(lái)自5個(gè)領(lǐng)域的數(shù)據(jù)來(lái)試驗(yàn)，結(jié)果表明ELLE在預(yù)訓(xùn)練效率和下游性能方面優(yōu)于各種傳統(tǒng)的持續(xù)學(xué)習(xí)方法。該工作與騰訊微信模式識(shí)別中心周杰老師團(tuán)隊(duì)合作完成。

Prompt Tuning for Discriminative Pre-trained Language Models

作者：姚遠(yuǎn)，董博文，張傲，張正彥，謝若冰，劉知遠(yuǎn)，林樂(lè)宇，孫茂松，王建勇

類型：Short?Paper

摘要：在精調(diào)預(yù)訓(xùn)練語(yǔ)言模型方面，Prompt Tuning取得了令人印象深刻的成果。然而，現(xiàn)有的工作主要集中在對(duì)生成式預(yù)訓(xùn)練語(yǔ)言模型的Prompt Tuning上，其預(yù)訓(xùn)練任務(wù)為還原遮蓋的文本符號(hào)，如BERT。對(duì)于判別式的預(yù)訓(xùn)練語(yǔ)言模型，例如ELECTRA，是否以及如何能夠有效地進(jìn)行Prompt Tuning，仍然是一個(gè)開(kāi)放挑戰(zhàn)。在這項(xiàng)工作中，我們提出了DPT，這是第一個(gè)用于判別式預(yù)訓(xùn)練語(yǔ)言模型的Prompt Tuning框架，它將NLP任務(wù)重新形式化為一個(gè)判別式語(yǔ)言建模問(wèn)題。在文本分類和問(wèn)答任務(wù)上的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)精調(diào)方法相比，DPT取得了明顯更高的性能，同時(shí)也避免了在全量數(shù)據(jù)和低資源場(chǎng)景下精調(diào)大模型的不穩(wěn)定問(wèn)題。該工作與清華大學(xué)計(jì)算機(jī)系王建勇老師團(tuán)隊(duì)以及騰訊搜索應(yīng)用部林樂(lè)宇老師團(tuán)隊(duì)完成。

國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)（Annual Meeting of the Association?for Computational Linguistics，簡(jiǎn)稱ACL）是自然語(yǔ)言處理領(lǐng)域頂級(jí)學(xué)術(shù)會(huì)議，在世界范圍內(nèi)每年召開(kāi)一次，2022年是第60屆會(huì)議，將于5月22-27日在愛(ài)爾蘭首都都柏林以線上線下混合形式舉行。

本次ACL會(huì)議首次與滾動(dòng)審稿ARR合作，并首次在OpenReview系統(tǒng)上進(jìn)行審稿匹配。在滾動(dòng)審稿中，作者先將論文提交到論文池進(jìn)行集中滾動(dòng)審閱，在充分完善后，再將論文、ARR審稿意見(jiàn)等提交至ACL 2022。

大會(huì)官網(wǎng)：https://2022.aclweb.org/。

国产秋霞理论久久久电影-婷婷色九月综合激情丁香-欧美在线观看乱妇视频-精品国avA久久久久久久-国产乱码精品一区二区三区亚洲人-欧美熟妇一区二区三区蜜桃视频

清華大學(xué)實(shí)驗(yàn)組18篇論文被ACL 2022錄用

ACL?2022主會(huì)

Findings of ACL 2022