↑ 點(diǎn)擊藍(lán)字?關(guān)注極市平臺(tái)

作者丨Mr Bear

來(lái)源丨AI科技評(píng)論

編輯丨極市平臺(tái)

極市導(dǎo)讀

?

在本文中，馮洋老師分別從讀者和審稿人的角度對(duì)最佳論文的共性特征進(jìn)行了總結(jié)。?>>加入極市CV技術(shù)交流群，走在計(jì)算機(jī)視覺(jué)的最前沿

在10月30日CCL2020的學(xué)生研討會(huì)中，來(lái)自中科院計(jì)算所的馮洋研究員進(jìn)行了《沖擊最佳論文需要知道的事情》的報(bào)告。

在本次演講中，馮洋老師分別從讀者和審稿人的角度對(duì)最佳論文的共性特征進(jìn)行了總結(jié)，介紹了頂會(huì)評(píng)選最佳論文的評(píng)價(jià)標(biāo)準(zhǔn)，以及將論文寫得邏輯自洽的方法，為有志于沖擊最佳論文的研究者給出了撰寫最佳論文的指導(dǎo)建議。

馮洋是中科院計(jì)算所“新百星人才引進(jìn)計(jì)劃”入選者、2019年度“卓越之星”獲得者，主要研究方向?yàn)樽匀徽Z(yǔ)言處理、機(jī)器翻譯和人機(jī)對(duì)話。

在中科院計(jì)算所獲得博士學(xué)位后，她先后在謝菲爾德大學(xué)和南加州大學(xué)信息科學(xué)研究所（USC/ISI）開展研究工作。擔(dān)任ACL、EMNLP、COLING等國(guó)內(nèi)外會(huì)議領(lǐng)域共同主席。

她在去年獲得ACL 2019唯一最佳長(zhǎng)文獎(jiǎng)，為ACL開辦58年來(lái)國(guó)內(nèi)唯一獲獎(jiǎng)，獲得世界人工智能大會(huì)青年優(yōu)秀論文獎(jiǎng)、CCF自然語(yǔ)言處理專委會(huì) “青年新銳獎(jiǎng)”，并入選人工智能學(xué)會(huì)首批杰出會(huì)員（共70人），多次在NIST、CWMT等國(guó)內(nèi)外權(quán)威機(jī)器翻譯評(píng)測(cè)中獲得第一名，作為項(xiàng)目負(fù)責(zé)人主持國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金面上項(xiàng)目等。

本次演講包含 5 個(gè)部分：

（1）論文評(píng)審過(guò)程。對(duì)于投稿人來(lái)說(shuō)，在撰寫論文之前需要對(duì)審稿的具體操作流程有所了解，才能做到「知己知彼，百戰(zhàn)不殆」，從而有的放矢，將精力投入到更重要的環(huán)節(jié)中；

（2）審稿人和各級(jí)會(huì)議主席評(píng)審論文的標(biāo)準(zhǔn)；

（3）好論文具備的特點(diǎn)；

（4）最佳論文的評(píng)選流程。重點(diǎn)討論最佳論文評(píng)選相較于普通論文評(píng)審額外的步驟；

（5）最佳論文相較于普通論文所具備的額外特質(zhì)。

1?從論文撰文到發(fā)表的過(guò)程

圖 3：評(píng)審過(guò)程

如圖 3 所示，一篇論文從剛開始撰寫到最終在學(xué)術(shù)會(huì)議上進(jìn)行報(bào)告，需要經(jīng)歷許多的環(huán)節(jié)。首先，我們需要撰寫論文。接著，我們需要在合適的時(shí)機(jī)提交論文。有學(xué)者對(duì)提交論文的時(shí)機(jī)進(jìn)行過(guò)統(tǒng)計(jì)，有趣的是，統(tǒng)計(jì)結(jié)果表明在周末提交的論文往往并不容易被錄用。

Track Assignment

在作者將論文提交至投稿系統(tǒng)后，程序委員會(huì)主席（PC Chair）會(huì)根據(jù)以下標(biāo)準(zhǔn)將論文分配到不同的軌道（track）中：

首先，作者在投稿時(shí)會(huì)選擇論文涉及的研究領(lǐng)域，并為這些研究領(lǐng)域分配優(yōu)先級(jí)。系統(tǒng)會(huì)根據(jù)作者選擇的研究領(lǐng)域自動(dòng)為論文分配 track。此外，還會(huì)判斷作者提交的論文是否被重復(fù)提交至其它會(huì)議。實(shí)際上，許多知名學(xué)術(shù)會(huì)議之間會(huì)共享一個(gè)論文提交名單，用于檢測(cè)論文是否被重復(fù)提交至多個(gè)會(huì)議。甚至，如果作者將論文提交至?xí)h B 的日期是某月 10 號(hào)，而該論文被會(huì)議 A 拒稿或撤回的日期是當(dāng)月 11 日，也是不符合提交規(guī)范的。系統(tǒng)還會(huì)檢查作者填寫的利益沖突（conflict of interests）情況，這是為了避免領(lǐng)域主席或相關(guān)利益者審閱與自己有關(guān)的文章。

Desk Check

在論文被分配之后，會(huì)進(jìn)入到「Desk Check」環(huán)節(jié)，許多研究者的論文甚至在沒(méi)有經(jīng)過(guò)仔細(xì)的審閱之前，就在 Desk Check 環(huán)節(jié)中被拒稿了。實(shí)際上，Desk Check 環(huán)節(jié)可能根據(jù)以下幾點(diǎn)判斷是否拒稿：（1）格式是否正確。有的會(huì)議對(duì)格式要求十分嚴(yán)格，即使對(duì)論文頁(yè)面的寬度進(jìn)行微小調(diào)整也是不允許的。（2）選擇的研究領(lǐng)域是否正確。

此外，在 Desk Check 階段，系統(tǒng)會(huì)再次核查作者填寫的利益沖突情況，從而將論文在避嫌的情況下分配給高級(jí)程序主席或高級(jí)領(lǐng)域主席。最后，系統(tǒng)還會(huì)核實(shí)審稿人的數(shù)量是否足夠，如果出現(xiàn)審稿人不足的情況，將即時(shí)招募新的審稿人。

Bidding

在 Bidding 階段中，審稿人可以勾選出自己感興趣、與自己研究領(lǐng)域相關(guān)的論文。這一步非常重要，可以防止審稿人審閱自己不熟悉的，或不感興趣的論文。有時(shí)審稿人會(huì)由于工作繁忙等原因錯(cuò)過(guò) Bidding 階段，但最終的審稿任務(wù)分配并不會(huì)過(guò)于偏頗。這是由于系統(tǒng)會(huì)要求審稿人事先提交其最近發(fā)表的若干篇論文，系統(tǒng)可以根據(jù)審稿人的論文發(fā)表情況算出每篇待審論文和審稿人的相關(guān)度，并以此為依據(jù)自動(dòng)分配審稿任務(wù)。

Paper assignment

在 paper assignment 階段，PC Chair 會(huì)將論文發(fā)放給領(lǐng)域主席，領(lǐng)域主席可以根據(jù)審稿人的研究領(lǐng)域，手動(dòng)地對(duì)系統(tǒng)自動(dòng)生成的論文分配方案進(jìn)行調(diào)整，將論文分配給研究領(lǐng)域?qū)诘膶徃迦藢忛?，從而使審稿過(guò)程更加公正。

Paper Review

在審稿任務(wù)分配完畢后，論文會(huì)進(jìn)入到審稿階段。值得注意的是，有的審稿人可能會(huì)未能按時(shí)提交審稿意見(jiàn)，此時(shí)領(lǐng)域主席會(huì)親自審稿或緊急招募新的審稿人進(jìn)行審稿。因此，某些論文可能有 4 個(gè)審稿意見(jiàn)。

Author Response

在 Author response 階段，作者會(huì)對(duì)審稿人提出的意見(jiàn)進(jìn)行回復(fù)。Author Response 是否有用取決于很多因素。首先，并不是所有的審稿人都有時(shí)間查看作者的回復(fù)。值得一提的是，作者在 Author Response 階段并不能提交新的實(shí)驗(yàn)結(jié)果，我們只能針對(duì)審稿人可能對(duì)文章產(chǎn)生的誤解進(jìn)行進(jìn)一步的解釋。在這一過(guò)程中，領(lǐng)域主席將發(fā)揮至關(guān)重要的作用，他們將審稿意見(jiàn)差異較大的論文收集起來(lái)，向?qū)徃迦税l(fā)郵件，組織他們重新對(duì)這些文章進(jìn)行討論。

Meta Review

在 Meta Review 階段，資深審稿人或領(lǐng)域主席會(huì)綜合考慮論文的質(zhì)量、審稿人的評(píng)論和論文作者在 Author Response 階段的回復(fù)，判斷是否接收該論文，并給出比較簡(jiǎn)短的意見(jiàn)，供資深領(lǐng)域主席參考。值得注意的是，實(shí)質(zhì)性評(píng)審的審稿人有一票否決權(quán)，即使所有普通審稿人都認(rèn)為可以接收某篇論文，實(shí)質(zhì)性評(píng)審的審稿人也可以認(rèn)為論文達(dá)不到會(huì)議接收所要求的水準(zhǔn)，可以在評(píng)審意見(jiàn)中給出強(qiáng)烈拒稿的意見(jiàn)。

Paper Ranking

領(lǐng)域主席會(huì)根據(jù)實(shí)質(zhì)性評(píng)審的審稿人給出的意見(jiàn)，對(duì)軌道（track）中的所有的論文進(jìn)行排序。

Accept/Reject Decision

在得到論文的排序之后，程序委員會(huì)主席會(huì)最終決定是否接收某篇論文。在這一階段中，程序委員會(huì)主席往往會(huì)征求領(lǐng)域主席的意見(jiàn)。

Notification&Camera Ready

審稿結(jié)果通知下發(fā)之后，會(huì)進(jìn)入 Camera Ready 階段，一般是20天左右。此時(shí)，作者需要根據(jù)審稿人的意見(jiàn)對(duì)論文進(jìn)行修改（例如，重新組織論文中混亂的部分）。這一修改過(guò)程對(duì)于提升論文質(zhì)量十分有用，審稿人從讀者的視角對(duì)論文內(nèi)容的組織提出了意見(jiàn)，作者往往需要接受這類意見(jiàn)。然而，有時(shí)審稿人還會(huì)要求作者補(bǔ)充一些實(shí)驗(yàn)。此時(shí)，作者需要理性判斷，盡量補(bǔ)充必要的實(shí)驗(yàn)。當(dāng)然，文章中的語(yǔ)法錯(cuò)誤是需要及時(shí)糾正的。一般來(lái)說(shuō)，論文中提出的方法不能有太大的變動(dòng)，作者只能修改論文中的瑕疵，而不能將原來(lái)的方法修改為新的方法。

值得注意的是，有的作者對(duì) Camera Ready 環(huán)節(jié)并不是特別重視，其實(shí)是十分可惜的。對(duì)于每一名作者而言，從開始創(chuàng)作論文到最后在學(xué)術(shù)會(huì)議上作報(bào)告其實(shí)是一個(gè)很辛苦的過(guò)程，往往需要花費(fèi)數(shù)月的時(shí)間。發(fā)表論文的目的就是將思路呈獻(xiàn)給讀者，通過(guò)文章與大家交流作者對(duì)某種方法的嘗試，而論文質(zhì)量對(duì)于最終這種交流的效果至關(guān)重要。正所謂「見(jiàn)論文即見(jiàn)其人」，發(fā)表論文的過(guò)程就是不斷塑造作者個(gè)人學(xué)術(shù)形象的過(guò)程。

Presentation

最后，在大會(huì)上報(bào)告論文或展示海報(bào)的過(guò)程也是十分重要的。作者需要將自己的工作介紹得引人入勝，激發(fā)讀者的閱讀興趣。值得注意的是，有一些作者往往會(huì)陷入一種誤區(qū)，他們希望在報(bào)告中將論文的所有細(xì)節(jié)都介紹到位。然而，報(bào)告的時(shí)長(zhǎng)可能往往只有 12-15 分鐘，想要在如此短的時(shí)間內(nèi)面面俱到地介紹論文是非常困難的，如此密集的信息也可能會(huì)使報(bào)告的焦點(diǎn)不明。因此，論文報(bào)告旨在向聽(tīng)眾傳遞作者的核心思想，對(duì)此感興趣的讀者會(huì)通過(guò)閱讀論文進(jìn)一步了解細(xì)節(jié)。

2 論文寫作

圖 4：論文寫作的理想情況

從審稿人的角度來(lái)看，對(duì)于一篇論文而言，理想的情況是論文行文能夠遵循「發(fā)現(xiàn)問(wèn)題」、「分析問(wèn)題」、「解決問(wèn)題」的過(guò)程。我們應(yīng)該針對(duì)研究領(lǐng)域中主流方法存在的痛點(diǎn)，分析引起該痛點(diǎn)的原因，最終給出解決痛點(diǎn)的方法。

審稿人往往希望看到想法新穎的論文，這種創(chuàng)新可以分為 3 類：

1. 新問(wèn)題老辦法：作者發(fā)現(xiàn)了以前沒(méi)有人發(fā)現(xiàn)的問(wèn)題，或者針對(duì)已經(jīng)被發(fā)現(xiàn)、但是沒(méi)有解決方法的問(wèn)題，提出用現(xiàn)有的方法（可能來(lái)自其它領(lǐng)域）來(lái)解決此類問(wèn)題。此類問(wèn)題應(yīng)該具有足夠大的影響力。
2. 老問(wèn)題新辦法：針對(duì)已經(jīng)存在的問(wèn)題，提出新的解決方法。此類新方法需要體現(xiàn)出其在模型性能、計(jì)算效率等方面的提升。
3. 新問(wèn)題新辦法。

需要注意到的是，當(dāng)作者針對(duì)新問(wèn)題使用「老辦法」時(shí)，審稿人可能會(huì)認(rèn)為作者使用了現(xiàn)有的方法，因此創(chuàng)新性不足。

此外，論文需要「引經(jīng)據(jù)典」，在「Related Work」中應(yīng)該對(duì)相關(guān)的工作調(diào)研充分，盡量列舉出重要的相關(guān)文獻(xiàn)。對(duì)于論文中所有結(jié)論性的話語(yǔ)，作者都應(yīng)該通過(guò)引用前人論文中已經(jīng)經(jīng)過(guò)驗(yàn)證的論據(jù)或者通過(guò)自己的實(shí)驗(yàn)對(duì)其進(jìn)行驗(yàn)證。

論文需要提供充分的實(shí)驗(yàn)描述，這涉及到以下 3 個(gè)方面：

（1）齊全的對(duì)比基線。

（2）充分的「消融分析實(shí)驗(yàn)」（ablation study）。

（3）為文中結(jié)論性的話語(yǔ)提供實(shí)驗(yàn)論據(jù)支撐。

最后，作者還需要對(duì)論文的行文進(jìn)行精雕細(xì)琢。文中不能出現(xiàn)過(guò)多的語(yǔ)法錯(cuò)誤、邏輯混亂等情況，需要體現(xiàn)出對(duì)審稿人足夠的尊重。

圖 5：論文寫作的雷區(qū)

然而，理想很豐滿，現(xiàn)實(shí)很骨感。相較之下，質(zhì)量較差的論文存在以下 4 種特點(diǎn)：

（1）創(chuàng)新不足：首先，作者可能迫于一定的投稿任務(wù)壓力，基于還不成熟的研究思路撰文，或者將本來(lái)只足以撰寫短文的思路用于撰寫長(zhǎng)文。此外，在針對(duì)新問(wèn)題使用老辦法時(shí)，作者找到的新問(wèn)題并不足夠重要，也不足夠復(fù)雜，或者作者使用的解決方案僅僅是將前人提出的各個(gè)組件堆砌起來(lái)，最終形成了非常長(zhǎng)但是創(chuàng)新并不足的處理流程。

（2）調(diào)研不夠：在寫論文的過(guò)程中體現(xiàn)出對(duì)相關(guān)工作的總結(jié)與回顧不充分，論文提出的方法可能與前人工作有所重復(fù)，對(duì)比實(shí)驗(yàn)也很有可能不夠充分。

（3）實(shí)驗(yàn)單?。喝鄙倌承┫嚓P(guān)的對(duì)比基線的實(shí)驗(yàn)結(jié)果。更隱蔽的一種情況是，作者沒(méi)有親自實(shí)現(xiàn)對(duì)比基線，而是從他人的論文中直接將實(shí)驗(yàn)結(jié)果粘貼過(guò)來(lái)。審稿人往往會(huì)認(rèn)為作者工作量不足。

（4）寫作倉(cāng)促：由于作者寫作倉(cāng)促，無(wú)法保證論文寫作的質(zhì)量。對(duì)于以英語(yǔ)為母語(yǔ)的審稿人而言，可以很輕易地發(fā)現(xiàn)論文中的語(yǔ)法錯(cuò)誤、錯(cuò)誤拼寫、邏輯錯(cuò)誤。

3 論文評(píng)審

圖 6：論文評(píng)審的理想情況

在論文評(píng)審過(guò)程中，作者往往希望審稿人仔細(xì)閱讀論文并進(jìn)行反復(fù)的推敲。正常情況下，審稿人應(yīng)該對(duì)每篇論文閱讀三遍：第一遍了解論文的大體思想；第二遍對(duì)論文算法細(xì)節(jié)進(jìn)行仔細(xì)閱讀；第三遍需要審稿人組織全文行文思路，按照自己的理解撰寫審稿意見(jiàn)，審稿意見(jiàn)需要總結(jié)論文實(shí)驗(yàn)分析的內(nèi)容、作者根據(jù)實(shí)驗(yàn)得到的結(jié)論、論文提出的方法的優(yōu)缺點(diǎn)等，并且提出審稿人不理解的問(wèn)題、指出文中存在的錯(cuò)誤。

理想情況下，作者希望即使論文內(nèi)容本身有些模糊，審稿人也能夠領(lǐng)會(huì)論文的含義，根據(jù)上下文的蛛絲馬跡推測(cè)出論文每一段的意思。甚至有的作者還嘗試在論文中埋入一些「?！梗Ｍ麑徃迦四馨l(fā)現(xiàn)他們。

然而，很不幸，實(shí)際的審稿情況并非如此！

圖 7：論文評(píng)審的實(shí)際情況

實(shí)際上，審稿人往往有三種類型：高校教師、企業(yè)或研究機(jī)構(gòu)的研究人員、學(xué)生審稿人，他們的工作往往都非常繁忙。

首先，高校教師每年可能要審閱數(shù)十篇論文，他們基本上沒(méi)有時(shí)間按照上述理想狀況來(lái)審閱論文。也有一些高校教師會(huì)讓自己的高年級(jí)學(xué)生幫忙審閱論文，他們會(huì)根據(jù)學(xué)生的審稿意見(jiàn)再查看文章的細(xì)節(jié)，判斷學(xué)生對(duì)文章創(chuàng)新性、正確性等方面的把握是否正確。

第二，對(duì)于沒(méi)有學(xué)生的企業(yè)或研究機(jī)構(gòu)的科研人員來(lái)說(shuō)，他們的工作十分繁忙，有時(shí)會(huì)根據(jù)論文的質(zhì)量來(lái)判斷每篇論文花費(fèi)的時(shí)間。審稿對(duì)于他們來(lái)說(shuō)是一種「義務(wù)勞動(dòng)」，為的是推動(dòng)學(xué)術(shù)社區(qū)的發(fā)展。

最后，學(xué)生審稿人通常會(huì)非常仔細(xì)地審稿。尤其是對(duì)于實(shí)驗(yàn)部分而言，由于學(xué)生自己做過(guò)很多實(shí)驗(yàn)，他們非常清楚這篇論文的實(shí)驗(yàn)配置是否正確，應(yīng)該做什么實(shí)驗(yàn)。因此，老師在將審稿任務(wù)分配給學(xué)生時(shí)，往往會(huì)找研究方向?qū)诘膶W(xué)生審稿。當(dāng)然，學(xué)生最后撰寫的評(píng)審意見(jiàn)可能也帶有一定的主觀性，這時(shí)就需要老師把關(guān)。

圖 8：評(píng)審標(biāo)準(zhǔn)

在審稿時(shí)，系統(tǒng)往往會(huì)要求審稿人提交「評(píng)審表格」（review form），我們根據(jù)評(píng)審表格的內(nèi)容提煉出了如圖 8 所示的一系列論文評(píng)審標(biāo)準(zhǔn)：

（1）正確性。首先，作者需要確保論文研究的問(wèn)題是確實(shí)存在的，論文介紹的現(xiàn)有方法的缺陷是值得研究的。此外，作者引出新方法的理論需要經(jīng)得起推敲。如果文中提出的方法涉及較多的數(shù)學(xué)推導(dǎo)，那么數(shù)學(xué)證明需要十分嚴(yán)謹(jǐn)。此外，作者應(yīng)該確保論文中的操作流程正確。例如，訓(xùn)練集中不能包含測(cè)試集的內(nèi)容，處理訓(xùn)練集和測(cè)試集的數(shù)據(jù)的方法應(yīng)該保持一致，對(duì)文中提出方法進(jìn)行測(cè)試的設(shè)置應(yīng)該與對(duì)比基線使用的設(shè)置保持一致，報(bào)告的實(shí)驗(yàn)結(jié)果應(yīng)該是模型收斂后的結(jié)果?？偠灾髡咝枰_保論文中的敘述與現(xiàn)實(shí)情況相符。

(2)創(chuàng)新性。創(chuàng)新性關(guān)注于文章是否研究了新的問(wèn)題、是否提出了新的方法，或者實(shí)驗(yàn)是否在新的數(shù)據(jù)集上進(jìn)行。對(duì)于綜述性的文章來(lái)說(shuō)，審稿人還會(huì)判斷作者是否從一個(gè)較高層次的角度，通過(guò)新的視角切入，梳理整個(gè)研究領(lǐng)域的發(fā)展脈絡(luò)。

（3）重要性。審稿人會(huì)判斷文中研究的問(wèn)題是否具有重要意義，文中的研究過(guò)程涉及的工作量是否足夠。此外，審稿人還會(huì)判斷論文中介紹的工作將來(lái)是否會(huì)產(chǎn)生一定的影響力的、該方法是否能夠復(fù)用的。如果文中提出的方法具有較強(qiáng)的泛化能力，就會(huì)體現(xiàn)出較高的重要性。

（4）簡(jiǎn)明性。從寫作上說(shuō)，論文的行文組織應(yīng)該合理，文字?jǐn)⑹鰬?yīng)該條理清晰，不能存在明顯的歧義。對(duì)于復(fù)雜的方法，文章的描述應(yīng)該深入淺出。

（5）實(shí)驗(yàn)是否充分。作者應(yīng)該在文中提供自己實(shí)現(xiàn)的相關(guān)的對(duì)比基線，還應(yīng)該進(jìn)行充分的「消融分析實(shí)驗(yàn)」（ablation study）。文中提出的方法可能包含多個(gè)要素，作者需要通過(guò)實(shí)驗(yàn)說(shuō)明沒(méi)有冗余的要素，并且分析每個(gè)要素對(duì)最終結(jié)果的影響程度。此外，作者還應(yīng)該分析各個(gè)要素之間的相互作用（例如，互斥現(xiàn)象）。作者應(yīng)該通過(guò)充分的實(shí)驗(yàn)印證文中所有提出的論點(diǎn)，提供充分的實(shí)驗(yàn)依據(jù)。

（6）資源的影響力。資源包括代碼、數(shù)據(jù)集，甚至是評(píng)估方法。面對(duì)各種各樣新的應(yīng)用場(chǎng)景，研究人員往往苦于沒(méi)有針對(duì)性的數(shù)據(jù)集。如果作者能在論文中提供一個(gè)新的數(shù)據(jù)集，就會(huì)產(chǎn)生一定的資源影響力；此外，以同聲傳譯為例，許多研究者會(huì)在論文中給出一種評(píng)估延遲的方法，盡管這種評(píng)估方法還不足以單獨(dú)支撐起一篇論文，但是也可以在一定程度上提升論文的影響力。

（7）引用。對(duì)參考文獻(xiàn)的引用以及對(duì)相關(guān)工作的描述也是十分重要的。文章提出的新方法需要與相關(guān)工作有足夠大的區(qū)別。審稿人主要會(huì)幫作者檢查列出的參考文獻(xiàn)是否完備，是否能讓讀者對(duì)論文中研究有比較完整的認(rèn)識(shí)。描述相關(guān)工作還有一個(gè)作用，即說(shuō)明文章的創(chuàng)新之處。如果作者在文中用到了前人提出的方法，需要在相關(guān)方法后加上引用，這是對(duì)前人勞動(dòng)成果的尊重，也可以用于明確區(qū)分出作者在本文中新加入的工作。

（8）可復(fù)現(xiàn)性。近年來(lái)，審稿人對(duì)文章的可復(fù)現(xiàn)性越來(lái)越重視。審稿人會(huì)單獨(dú)核查論文中提出的數(shù)據(jù)集是否是公開的，他人是否能夠得到該數(shù)據(jù)集并復(fù)現(xiàn)實(shí)驗(yàn)。如果作者在文中使用了一些現(xiàn)有的模型，作者需要給出詳細(xì)的參數(shù)配置，方便他人復(fù)現(xiàn)實(shí)驗(yàn)。對(duì)于作者新提出的方法，審稿人會(huì)查看該方法的實(shí)現(xiàn)代碼是否已經(jīng)公開。當(dāng)然，審稿人往往也并沒(méi)有時(shí)間親自復(fù)現(xiàn)實(shí)驗(yàn)，因此可復(fù)現(xiàn)性并不太容易判斷。

（9）學(xué)術(shù)倫理。作者進(jìn)行的研究實(shí)應(yīng)該是正能量的，讓世界變得更加美好，而不應(yīng)該是引起各種犯罪，不能對(duì)社會(huì)產(chǎn)生危害。

圖 9：約定俗成的評(píng)審標(biāo)準(zhǔn)

除了被列舉在「評(píng)審表格」中的評(píng)審標(biāo)準(zhǔn)，還有一些評(píng)審標(biāo)準(zhǔn)是審稿人約定俗成的：

（1）論文提出的方法是當(dāng)前最佳的結(jié)果。審稿人往往期望提出的方法的性能優(yōu)于現(xiàn)有方法。但這種情況也并非是絕對(duì)的，如果文中提出的方法與現(xiàn)有方法性能相當(dāng)，但是模型更為簡(jiǎn)單或運(yùn)行速度更快，也是具有科學(xué)價(jià)值的。新方法達(dá)到目前最佳的效果并不是論文被錄用的充分條件（例如，通過(guò)調(diào)整 Drop out 率實(shí)現(xiàn)最佳效果），也不是必要條件，但是如果模型確實(shí)達(dá)到了最佳效果，在一定程度上也可以加大論文被錄用的概率。

（2）研究問(wèn)題是否足夠困難。論文中描述的研究工作應(yīng)該具有一定的意義。此外，審稿人也會(huì)關(guān)注論文中使用的數(shù)據(jù)集是否過(guò)于簡(jiǎn)單。論文中提出的方法在一個(gè)很簡(jiǎn)單的數(shù)據(jù)集上可以得到提升，但并不代表這種方法在現(xiàn)實(shí)中復(fù)雜的數(shù)據(jù)集上也能得到性能提升，實(shí)驗(yàn)結(jié)果無(wú)法反映出新方法真實(shí)的性能。

（3）文中提出的方法是否出人意料。對(duì)于作者提出的研究問(wèn)題而言，如果研究者們公認(rèn)該問(wèn)題是值得研究的，但是作者提出的方法是大多數(shù)人都能想到的常規(guī)做法，論文就不會(huì)為審稿人帶來(lái)太大驚喜，論文很難獲得高分。相反，如果針對(duì)文中提出的研究問(wèn)題，作者的研究視角會(huì)讓審稿人或讀者眼前一亮，發(fā)現(xiàn)新方法的玄妙之處，就會(huì)大大提升文章被錄用的概率。此外，如果文中得到的結(jié)論與人們的直覺(jué)不同，能夠顛覆人們以往的一些認(rèn)識(shí)，也會(huì)引起審稿人和讀者的閱讀興趣。

（4）工作是否真實(shí)。作者驗(yàn)證新方法的場(chǎng)景應(yīng)該是真實(shí)的。例如，現(xiàn)在許多研究者進(jìn)行強(qiáng)化學(xué)習(xí)研究的環(huán)境是虛擬的，這種虛擬環(huán)境有時(shí)與現(xiàn)實(shí)場(chǎng)景出入較大。如果審稿人認(rèn)為文中的結(jié)論不能代表在現(xiàn)實(shí)場(chǎng)景下的真實(shí)狀況，也有可能拒絕接收論文。

圖 10：Eric Jang 的評(píng)審標(biāo)準(zhǔn)

然而，除了上述的常見(jiàn)評(píng)審標(biāo)準(zhǔn)之外，每個(gè)審稿人也可能有自己各不相同的標(biāo)準(zhǔn)。如圖 10 所示，谷歌科學(xué)家 Eric Jang 個(gè)人的審稿標(biāo)準(zhǔn)是這樣的：首先，他認(rèn)為對(duì)于一篇論文來(lái)說(shuō)，最重要的是要正確性和創(chuàng)新性。第二，如果論文提出的方法并沒(méi)有達(dá)到目前最佳的性能（SOTA），作者也應(yīng)該分析該方法沒(méi)有達(dá)到 SOTA 的原因。如果論文提出的方法是合理的、仍然具有進(jìn)一步提升的潛力，也是具有發(fā)表價(jià)值的。如今，很多我們經(jīng)常使用的方法在發(fā)表之時(shí)其實(shí)也沒(méi)有達(dá)到當(dāng)時(shí) SOTA 的性能。第三，如果論文提出了新的算法，我們期望這種新算法優(yōu)于現(xiàn)有方法，否則需要分析其弱于現(xiàn)有方法的原因。最后，如果文中提出了某些論點(diǎn)，作者需要在實(shí)驗(yàn)部分對(duì)此進(jìn)行驗(yàn)證。

圖 11：Julian Togelius 的審稿標(biāo)準(zhǔn)

NeurIPS 領(lǐng)域主席 Julia Douglas 也對(duì)外發(fā)布了自己的審稿標(biāo)準(zhǔn)。在他看來(lái)，論文可能由于以下原因被拒稿：（1）作者使用了錯(cuò)誤的對(duì)比測(cè)試方法，包括錯(cuò)誤的對(duì)比基線、數(shù)據(jù)集、評(píng)估標(biāo)準(zhǔn)等。（2）不充分的分析實(shí)驗(yàn)。（3）遺漏引用相關(guān)的工作。此外，他認(rèn)為所有的工作都是有瑕疵的。正如前文所述，如果論文提出的新方法足夠吸引人，研究思路足夠「出人意料」，那么就「瑕不掩瑜」。

最后，Julian 認(rèn)為現(xiàn)在大多數(shù)的文章太過(guò)保守，存在「Bulletproof」的現(xiàn)象，而這些文章四平八穩(wěn)，稍顯無(wú)聊。現(xiàn)在許多審稿人會(huì)帶著一種先入為主的心態(tài)，去尋找論文中存在的瑕疵。除非論文足夠引人入勝，給審稿人帶來(lái)了較大的心理沖擊，否則審稿人會(huì)因?yàn)檫@些瑕疵對(duì)論文拒稿。我們希望一篇好的論文既能夠做到「Bulletproof」也能夠引人入勝。

4 寫論文的心態(tài)

在動(dòng)手撰寫一篇論文之前，我們需要明白寫出一篇好論文應(yīng)該具備怎樣的心態(tài)。

圖 12：寫出一篇好論文應(yīng)有的心態(tài)

首先，時(shí)間安排是十分重要的。正所謂慢工出細(xì)活，匆忙趕制的論文往往不如反復(fù)仔細(xì)打磨出的論文質(zhì)量高。因此，在時(shí)間安排上，作者應(yīng)該采倒推法。根據(jù)論文的截稿日期決定何時(shí)動(dòng)筆、何時(shí)應(yīng)該準(zhǔn)備好完備的實(shí)驗(yàn)、何時(shí)應(yīng)該確保方法的有效性?？傊髡邞?yīng)該把握好各個(gè)時(shí)間節(jié)點(diǎn)，保證在截稿日期到來(lái)時(shí)，論文是經(jīng)過(guò)精心準(zhǔn)備的。

作者還應(yīng)該明確論文的定位。古人云：求其上者得其中。在撰寫文章之前，最好的心態(tài)是立志寫一篇具有影響力的好文章。值得一提的是，對(duì)于一些新的研究人員來(lái)說(shuō)，他們需要通過(guò)投稿熟悉寫論文的流程，如果過(guò)于追求完美，可能遲遲不敢動(dòng)手寫作，這樣也不見(jiàn)得是一種合適的心態(tài)。

審稿是一件主觀的事。審稿結(jié)果與審稿人的「審美」、個(gè)人喜好緊密相關(guān)。此外，文章類型的曝光度也對(duì)審稿人的判斷有所影響。如果大量研究者都已經(jīng)發(fā)文討論某一類工作，同類工作就很難引起審稿人的閱讀興趣。無(wú)論如何，作者應(yīng)該通過(guò)看論文建立自己的科研品味，這種科研品味會(huì)決定作者自己做出來(lái)的工作的質(zhì)量。

在撰寫論文時(shí)，作者還應(yīng)該換位思考，站在讀者的角度上思考文章應(yīng)該如何組織。有很多作者自己熟知的知識(shí)，對(duì)于讀者來(lái)說(shuō)可能是陌生的，作者在行文時(shí)就應(yīng)該充分參考讀者的邏輯思維。

5 好論文的特質(zhì)

圖 13：好論文的特質(zhì)

在立意方面，論文的選題需要具有較為重要的意義，不能夠違背學(xué)術(shù)倫理，工作需要有足夠的難度。否則如果任務(wù)過(guò)于簡(jiǎn)單，可能其他人實(shí)際上在工作中都已經(jīng)解決了該問(wèn)題，只不過(guò)沒(méi)有撰寫論文。

在論文提出的方法方面，方法要具有新意，要保證正確性，并且新的方法和以往的方法應(yīng)該具有一定的區(qū)分度。

在實(shí)驗(yàn)方面，作者應(yīng)該進(jìn)行充分的對(duì)比實(shí)驗(yàn)，并且對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行透徹的分析，實(shí)驗(yàn)結(jié)果還要對(duì)文中的論點(diǎn)進(jìn)行完備地論證，最終還需要確保實(shí)驗(yàn)的可復(fù)現(xiàn)性。

在寫作方面，作者需要保證行文簡(jiǎn)明，易于理解，文章內(nèi)容需要經(jīng)過(guò)反復(fù)打磨。如果作者并非以英語(yǔ)為母語(yǔ)，則最好需要進(jìn)行 Proof-Read。

6 最佳論文的評(píng)審過(guò)程

相對(duì)于其他論文，最佳論文還有一些額外的評(píng)審過(guò)程。首先，每位審稿人在審稿時(shí)都會(huì)面臨一個(gè)選項(xiàng)，即是否推薦該論文稱為最佳論文。領(lǐng)域主席會(huì)從其管理的審稿人推薦的論文中選出一部分推薦給程序委員會(huì)主席。程序委員會(huì)主席會(huì)組織一些資深的研究人員組成最佳論文評(píng)審委員會(huì)，篩選出若干候選的最佳論文（即最佳論文提名獎(jiǎng)）。之后，候選論文的作者需要在大會(huì)上宣講論文，而最佳論文委員會(huì)的評(píng)委將會(huì)根據(jù)作者在現(xiàn)場(chǎng)宣講的表現(xiàn)投票，最終產(chǎn)生最佳論文。

7 最佳論文的特點(diǎn)

圖 14：最佳論文的特點(diǎn)

首先，在寫作方面，讀者可以很直觀地感受到論文的內(nèi)容應(yīng)該是經(jīng)過(guò)反復(fù)打磨的。此外，論文的內(nèi)容應(yīng)該層次清晰。如果摘要、引言、方法等部分都涉及對(duì)論文提出的新方法的描述，作者需要從不同的層次上進(jìn)行論述，不應(yīng)該有簡(jiǎn)單重復(fù)的話。眾所周知，一篇好的文章應(yīng)該經(jīng)過(guò)多輪修改，作者應(yīng)該提前寫好論文，經(jīng)過(guò)多輪的自己、同行、老師的修改，才能產(chǎn)出一篇高質(zhì)量論文。

在實(shí)驗(yàn)方面，最佳論文需要保證實(shí)驗(yàn)部分具有很明顯的性能提升，應(yīng)該提供廣泛的對(duì)比實(shí)驗(yàn)，并且對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行完備的分析。

從方法上來(lái)說(shuō)，正所謂大道至簡(jiǎn)，目前審稿人普遍偏好比較簡(jiǎn)潔的方法，并且文中提出的新方法應(yīng)該是正確的，方法的通用型越強(qiáng)越好。

在大會(huì)宣講論文時(shí)，作者需要確保演講內(nèi)容易懂、重點(diǎn)突出，幻燈片的制作應(yīng)該精美。此外，作者還需要通過(guò)反復(fù)的演練，嚴(yán)格控制演講時(shí)長(zhǎng)。

8 結(jié)語(yǔ)

想要產(chǎn)出一篇好的論文，作者要早做準(zhǔn)備，首先要讓自己對(duì)論文足夠滿意。此外，論文需要達(dá)到邏輯自洽，行文通順，易于理解。當(dāng)然，文章的實(shí)驗(yàn)必須充分，作者要在平時(shí)多做實(shí)驗(yàn)，避免最終寫論文時(shí)時(shí)間不足而導(dǎo)致實(shí)驗(yàn)不充分。

推薦閱讀

• 魁北克大學(xué)教授痛批雙盲評(píng)審制度：這不是個(gè)好主意

• 張一鳴：10年面試2000人，我遇到的優(yōu)秀年輕人，都有這5大特質(zhì)

• 頂會(huì)Best Paper一作：所有實(shí)習(xí)經(jīng)歷都是有意義的

添加極市小助手微信（ID : cvmart2），備注：姓名-學(xué)校/公司-研究方向-城市（如：小極-北大-目標(biāo)檢測(cè)-深圳），即可申請(qǐng)加入極市目標(biāo)檢測(cè)/圖像分割/工業(yè)檢測(cè)/人臉/醫(yī)學(xué)影像/3D/SLAM/自動(dòng)駕駛/超分辨率/姿態(tài)估計(jì)/ReID/GAN/圖像增強(qiáng)/OCR/視頻理解等技術(shù)交流群：每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競(jìng)賽、干貨資訊匯總、與?10000+來(lái)自港科大、北大、清華、中科院、CMU、騰訊、百度等名校名企視覺(jué)開發(fā)者互動(dòng)交流~

△長(zhǎng)按添加極市小助手

△長(zhǎng)按關(guān)注極市平臺(tái)，獲取最新CV干貨

覺(jué)得有用麻煩給個(gè)在看啦~??