剛剛，NLP 領(lǐng)域國際頂會 ACL2022 公布獲獎論文信息，其中加州大學伯克利分校的增量句法表示研究被評為最佳論文。此外，最佳主題論文、杰出論文也揭曉。
ACL 是計算語言學和自然語言處理領(lǐng)域的頂級國際會議，由國際計算語言學協(xié)會組織，每年舉辦一次。一直以來，ACL 在 NLP 領(lǐng)域的學術(shù)影響力都位列第一，它也是 CCF-A 類推薦會議。今年的 ACL 大會已是第 60 屆，將于 5 月 22-5 月 27 在愛爾蘭都柏林舉辦。
2 月 24 日，ACL 2022 錄用結(jié)果公布。本屆大會主會議共接收了 604 篇長論文和 97 篇短論文（以 ACL 2022 公布的論文列表查詢?yōu)闇剩?/span>剛剛，大會官方公布了最佳論文、最佳主題論文、杰出論文以及最佳資源論文和最佳語言洞察力論文。其中，加州大學伯克利分校的獲得最佳論文獎，加拿大國家研究委員會、愛丁堡大學等機構(gòu)的研究者獲得最佳主題論文獎。此外，多位華人學者參與的研究被評為杰出論文，包括陳丹琦、楊笛一等的研究。ACL 2022 的最佳論文（Best Paper）來自加州大學伯克利分校研究團隊，該研究提出了一種增量句法表示，與當前的 SOTA 解析模型相當。題目：Learned Incremental Representations for Parsing
作者：Nikita Kitaev, Thomas Lu 、Dan Klein
機構(gòu)：加州大學伯克利分校
鏈接：https://aclanthology.org/2022.acl-long.220.pdf
摘要：該研究提出了一種增量句法表示，該表示包括為句子中的每個單詞分配一個離散標簽，其中標簽是使用句子前綴的嚴格增量處理來預測的，并且句子標簽序列完全確定了解析樹。該研究旨在誘導一種句法表示，它只在句法選擇由輸入逐漸顯示時才確定這些選擇，這與標準表示形成鮮明對比，標準表示必須進行輸出選擇，例如推測性的附件，然后拋出相互沖突的分析。該研究學習的表示在 Penn Treebank 上達到了 93.72 F1，且每個單詞只有 5 bit；在每個單詞為 8 bit 時，該研究在 Penn Treebank 上達到了 94.97 F1，這和使用相同的預訓練嵌入時的 SOTA 解析模型相當。該研究還對系統(tǒng)學習到的表示進行了分析，他們研究了系統(tǒng)捕獲的可解釋句法特征等屬性，以及句法歧義的延遲解決機制。
今年的最佳主題論文（Best Special Theme Paper ）研究來自加拿大國家研究委員會、愛丁堡大學、皇后大學等機構(gòu)研究者，他們主要研究為低資源語音合成相關(guān)技術(shù)。
標題：Requirements and Motivations of Low-Resource Speech Synthesis for Language Revitalization
作者：Aidan Pine, Dan Wells, Nathan Brinklow, Patrick William Littell 、Korin Richmond
機構(gòu)：加拿大國家研究委員會、愛丁堡大學、皇后大學
鏈接：https://aclanthology.org/2022.acl-long.507.pdf
摘要：該研究闡述了語音合成系統(tǒng)的發(fā)展動機和目的，以振興語言。通過為加拿大使用的三種土著語言 (Kanien 'kéha, Gitksan 和 SEN?O?EN) 構(gòu)建語音合成系統(tǒng)，該研究重新評估了需要多少數(shù)據(jù)才能構(gòu)建具有 SOTA 性能的低資源語音合成系統(tǒng)。例如，該研究在英語數(shù)據(jù)的初步結(jié)果表明，在訓練數(shù)據(jù)上訓練 1 小時的 FastSpeech2 模型可以產(chǎn)生與訓練 10 小時的 Tacotron2 模型語音自然度相當。最后，該研究們鼓勵在語音合成領(lǐng)域進行評估和課堂整合來進行未來研究，以實現(xiàn)語言復興。本屆會議還評出了八篇杰出論文（Outstanding Papers），佐治亞理工學院交互計算學院助理教授楊笛一（Diyi Yang）、普林斯頓大學計算機科學系助理教授陳丹琦等人的研究在列。論文 1：Evaluating Factuality in Text Simplification
摘要：自動簡化模型旨在使輸入文本更具可讀性，但此類模型會在自動簡化的文本中引入錯誤。因此，研究者提出了一種錯誤分類法，用來分析從標準簡化數(shù)據(jù)集和 SOTA 模型輸出中提出的參考資料。論文 2：Online Semantic Parsing for Latency Reduction in Task-Oriented Dialogue
摘要：標準對話語義解析將完整的用戶話語映射到可執(zhí)行程序中，然后執(zhí)行該程序以響應用戶，速度可能很慢。研究者過在用戶仍在說話時預測和執(zhí)行函數(shù)調(diào)用來減少延遲的機會，并引入了在線語義解析任務，采用受同步機器翻譯啟發(fā)的規(guī)范延遲減少指標。此外，他們還提出了一個通用框架。論文 3：Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
作者：Xiangpeng Wei、Heng Yu、Yue Hu、Rongxiang Weng、Weihua Luo、Rong Jin
機構(gòu)：阿里達摩院、中科院信息工程研究所、中國科學院大學
論文地址：https://arxiv.org/pdf/2204.06812v1.pdf
摘要：監(jiān)督神經(jīng)機器翻譯（NMT）的主要任務是學習生成以來自一組并行句子對的源輸入為條件的目標句子，從而得到一個能夠泛化到未見過實例的模型。然而，通常觀察到模型的泛化性能很大程度上受訓練中使用的并行數(shù)據(jù)量的影響。研究者提出了一種新的數(shù)據(jù)增強范式，稱之為連續(xù)語義增強（Continuous Semantic Augmentation, CsaNMT），它為每個訓練實例增加了一個鄰接語義區(qū)域。論文 4：Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity
作者：Yao Lu、Max Bartolo、Alastair Moore、Sebastian Riedel、Pontus Stenetorp
機構(gòu)：倫敦大學學院、Mishcon de Reya LLP
論文地址：https://arxiv.org/pdf/2104.08786v2.pdf
摘要：當僅使用少量訓練樣本啟動時，與完全監(jiān)督、微調(diào)、大型、預訓練的語言模型相比，GPT-3 等超大預訓練語言模型展現(xiàn)出具有競爭力的結(jié)果。研究者證明了提供樣本的順序可以在接近 SOTA 和隨機猜測性能之間產(chǎn)生差異：本質(zhì)上，一些排列很棒，而另一些則不是。他們分析了這一現(xiàn)象，分析它存在于模型大小方面，與特定的樣本子集無關(guān)，并且一個模型的給定良好排列不能轉(zhuǎn)移到另一個模型。因此，研究者利用語言模型的生成特性來構(gòu)建一個人工開發(fā)集，并基于該集上候選排列的熵統(tǒng)計確定性能提示。他們的方法在 11 個不同的已建立文本分類任務中為 GPT 系列模型產(chǎn)生了 13% 的相對改進。論文 5：Inducing Positive Perspectives with Text Reframing
摘要：該研究引入了積極重構(gòu)任務，在該任務中，該研究消除消極觀點并為作者生成更積極的觀點，而不會與原始含義相矛盾。為了促進快速進展，該研究引入了一個大規(guī)模的基準，積極心理學框架（POSITIVE PSYCHOLOGY FRAMES），其具有 8349 個句子對和 12755 個結(jié)構(gòu)化注釋，以根據(jù)六種理論動機的重構(gòu)策略來解釋積極重構(gòu)。?在四位作者中，楊笛一（Diyi Yang）是佐治亞理工學院交互計算學院助理教授。論文 6：Ditch the Gold Standard: Re-evaluating Conversational Question Answering
摘要：在這項工作中，該研究對 SOTA 對話式 QA 系統(tǒng)進行了首次大規(guī)模的人類評估，其中人類評估員與模型進行對話，并判斷其答案的正確性。該研究發(fā)現(xiàn)人機（humanmachine）對話的分布與人 - 人（human-human ）對話的分布有很大的不同，在模型排名方面，人類評估和黃金歷史（goldhistory）評估存在分歧。該研究進一步研究了如何改進自動評估，并提出了一種基于預測歷史的問題重寫機制，該機制可以與人類判斷更好地關(guān)聯(lián)。最后，該研究分析了各種建模策略的影響，并討論了構(gòu)建更好的對話式問答系統(tǒng)的未來方向。論文作者之一為普林斯頓大學博士二年級學生高天宇，師從該校計算機科學系助理教授陳丹琦。論文 7：Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
摘要：在這項工作中，該研究引入了主動評估，在 13 個 NLG 評估數(shù)據(jù)集上使用 13 個 dueling bandits 算法進行了廣泛的實驗，涵蓋 5 個任務，實驗表明人工注釋的數(shù)量可以減少 80%。為了進一步減少人工注釋的數(shù)量，該研究提出了基于模型的 dueling bandit 算法，該算法將自動評估指標與人工評估相結(jié)合，這將所需的人工注釋數(shù)量進一步減少了 89%。論文 8：Compression of Generative Pre-trained Language Models via Quantization
摘要：本文采用量化方法對生成式 PLM（Pre-trained Language Models）進行壓縮。他們提出了一種 token 級的對比蒸餾方法來學習可區(qū)分的詞嵌入，此外，該研究還提出了一種模塊級的動態(tài)擴展來使量化器適應不同的模塊。在各種任務的經(jīng)驗結(jié)果表明，該研究提出的方法在生成 PLM 上明顯優(yōu)于 SOTA 壓縮方法。在 GPT-2 和 BART 上分別實現(xiàn)了 14.4 倍和 13.4 倍的壓縮率。大會還公布了最佳資源論文（Best Resource Paper）和最佳語言洞察力論文（Best Linguistic Insight Paper），分別由羅馬大學以及馬薩諸塞大學阿默斯特分校等機構(gòu)的研究者獲得。最佳資源論文：DiBiMT: A Novel Benchmark for Measuring Word Sense Disambiguation Biases in Machine Translation
作者：Niccolò Campolungo、Federico Martelli、Francesco Saina、Roberto Navigli
機構(gòu)：羅馬大學、SSML Carlo Bo
論文地址：https://aclanthology.org/2022.acl-long.298.pdf
最佳語言洞察力論文：KinyaBERT: a Morphology-aware Kinyarwanda Language Model
作者：Antoine Nzeyimana、Andre Niyongabo Rubungo
機構(gòu)：馬薩諸塞大學阿默斯特分校、加泰羅尼亞理工大學
論文地址：https://arxiv.org/pdf/2203.08459v2.pdf
https://www.2022.aclweb.org/papershttps://www.2022.aclweb.org/best-paper-awards??THE END?
轉(zhuǎn)載請聯(lián)系原公眾號獲得授權(quán)
