NeurIPS 2020論文評(píng)審結(jié)果出爐，提前拒稿、作者審稿惹爭(zhēng)議，網(wǎng)友：改投別家吧
點(diǎn)擊藍(lán)字
?關(guān)注我們
來源｜機(jī)器之心
NeurIPS 2020 論文評(píng)審結(jié)果出來了，你有被評(píng)審結(jié)果「摧殘」到嗎？
評(píng)審結(jié)果一出來，眾多作者「在線攤手」
我花了一年時(shí)間寫的論文，解決了開放性問題，性能大幅超越 SOTA 結(jié)果，得了 6/4/4 分；提交前一個(gè)月才開始做項(xiàng)目，不到 48 小時(shí)寫完論文，而且實(shí)驗(yàn)大多比較初級(jí)，這篇論文竟然得了 8/6/6 分。 現(xiàn)在我確信，評(píng)審結(jié)果大部分是噪聲了。從現(xiàn)在開始，我要保存自己的論文草稿和 NeurIPS 認(rèn)為不好的論文，將自己最好的工作投到別的渠道。
NeurIPS 2020 新審稿機(jī)制惹爭(zhēng)議
提前拒稿：領(lǐng)域主席會(huì)有兩個(gè)星期時(shí)間去建議哪些論文會(huì)被提前拒絕，而且目前預(yù)計(jì)將有 20% 左右的論文會(huì)被提前拒絕。緊接著高級(jí)領(lǐng)域主席會(huì)有一個(gè)星期的時(shí)間來審核及批準(zhǔn)這一決定。批準(zhǔn)之后，這些論文作者將會(huì)得到通知。
作者也是審稿人：此次改變提出，在需要時(shí)，論文作者或聯(lián)合作者都需要同意審稿。這一改變有助于增加審稿人員的總量，并可以在提交論文的人員中更加公平地分配審稿的工作量。
再一次看到 NeurIPS 會(huì)議糟糕的論文評(píng)審結(jié)果，我確認(rèn)了一點(diǎn)：如果評(píng)審人員沒辦法真誠(chéng)地寫評(píng)審結(jié)果，那就應(yīng)該禁止他們同時(shí)作為作者提交論文。我們的 AI 會(huì)議需要更有可信度。
目前在 ICML 和 NeurIPS 會(huì)議評(píng)審過程中，領(lǐng)域主席（AC）已經(jīng)對(duì)評(píng)審人員進(jìn)行評(píng)分了。據(jù)我所知，這個(gè)分?jǐn)?shù)僅用于發(fā)現(xiàn)優(yōu)秀的評(píng)審人員，進(jìn)而激勵(lì)評(píng)審者。它其實(shí)可以有另一種類似的用途：摒棄不好的評(píng)審人員（這一過程應(yīng)該接受更多 AC 的監(jiān)督）。
認(rèn)真工作了好幾個(gè)月或好幾年，評(píng)審一兩天就結(jié)束了，評(píng)審結(jié)果還像出自機(jī)器人之手——不具備恰當(dāng)?shù)?pointer、敘述、構(gòu)造、善意等。大部分學(xué)術(shù)研究評(píng)審結(jié)果都是這樣，唉！
論文提交數(shù)量日益增長(zhǎng)，肯定會(huì)有更多初級(jí)研究者擔(dān)任評(píng)審（論文作者兼任評(píng)審加劇了這一點(diǎn)），因此我認(rèn)為評(píng)審質(zhì)量變差在情理之中。但是 NeurIPS 會(huì)議仍然具備很高的聲譽(yù)。其他不錯(cuò)的會(huì)議（如 UAI、AISTATS）也收到了大量投稿。我認(rèn)為我們?nèi)狈ψ銐蚝?、具備較高聲譽(yù)的子領(lǐng)域會(huì)議，不然評(píng)審和作者能夠得到更好的匹配，這方面還大有可為。
禁止并非解決問題的良策。我們需要更好地教育論文評(píng)審（和作者）。我們還需要重新思考 21 世紀(jì)的會(huì)議論文發(fā)表系統(tǒng)。
我對(duì)此的建議包括四部分。 核心部分是包含以下三個(gè)主要組件的 wiki：1）已發(fā)表論文的有標(biāo)注、有組織的目錄；2）機(jī)器學(xué)習(xí)實(shí)驗(yàn)設(shè)計(jì)和分析流程（包含代碼）的集合；3）證明優(yōu)化和學(xué)習(xí)理論發(fā)現(xiàn)的數(shù)學(xué)結(jié)果和分析技術(shù)集合。 該 wiki 應(yīng)由包含高級(jí)編輯的研究社區(qū)維護(hù)，這些人員分別歸屬于三個(gè)專家組：1）領(lǐng)域?qū)＜医M，負(fù)責(zé)持續(xù)跟進(jìn)某些研究領(lǐng)域；2）方法論專家組，負(fù)責(zé)實(shí)驗(yàn)設(shè)計(jì)和統(tǒng)計(jì)分析部分；3）數(shù)學(xué)專家組，負(fù)責(zé)分析機(jī)器學(xué)習(xí)算法。 高級(jí)編輯應(yīng)擁有不錯(cuò)的職業(yè)路徑，具備相關(guān)的知名度和獎(jiǎng)項(xiàng)。作者應(yīng)查詢?cè)?wiki，找到相關(guān)的研究結(jié)果和方法。沒有引用該 wiki 中的相關(guān)工作或方法的論文可被拒。
第二部分：論文投稿應(yīng)包括結(jié)構(gòu)化的摘要和附錄。摘要應(yīng)表明研究動(dòng)機(jī)、研究問題、方法和貢獻(xiàn)。附錄應(yīng)包含：a）解釋作者認(rèn)為論文與哪些 wiki 類別相關(guān)，與哪些不相關(guān)；b）實(shí)驗(yàn)設(shè)計(jì)和分析流程的偽代碼；c）對(duì)所有形式化結(jié)果的陳述和證明。 第三部分：每篇論文分配一名編輯 / 指導(dǎo)者，負(fù)責(zé)幫助作者改進(jìn)論文。 編輯閱讀論文并就其「敘事」提供反饋，然后將建議以 pointer 的形式發(fā)送給作者。作者根據(jù)編輯的反饋更新論文，然后編輯通過，將該論文發(fā)布在某個(gè)平臺(tái)上（如 Open Review），邀請(qǐng)研究社區(qū)進(jìn)行評(píng)審和復(fù)現(xiàn)。 第四部分：如果研究社區(qū)認(rèn)為某篇論文很重要或效果驚人，則論文進(jìn)入深入的正確性檢查環(huán)節(jié)。
由某個(gè)受資助組織接受聘請(qǐng)?jiān)u審進(jìn)行此類檢查。論文發(fā)送給三類評(píng)審人員：a）研究類似問題的人員：這類評(píng)審負(fù)責(zé)評(píng)估論文的研究問題、論斷和證據(jù)是否得到準(zhǔn)確描述；b）方法論專家（如果論文包含實(shí)驗(yàn)的話）：這類評(píng)審負(fù)責(zé)評(píng)估方法和分析的正確性；c）分析專家（如果論文做出了形式化論斷）：這類專家負(fù)責(zé)檢查理論論斷和證明。 其整體目標(biāo)是對(duì)重要的論文進(jìn)行再次檢查，相當(dāng)于「可編輯的 arXiv」，擴(kuò)展性優(yōu)于現(xiàn)有系統(tǒng)。 社區(qū)創(chuàng)建和維護(hù) wiki 以跟蹤領(lǐng)域最新知識(shí)，與為作者提供「doing research right」的更好工具同等重要。
推薦閱讀
評(píng)論
圖片
表情