談CV領(lǐng)域?qū)徃?/h1>
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)
前言?本文分享了一個作為CV會議領(lǐng)域主席和期刊副編的知乎作者對當(dāng)前不少人抱怨審稿人質(zhì)量下降的一些看法。
作者：歐陽萬里@知乎(已授權(quán))
編輯：CV技術(shù)指南 原文：https://zhuanlan.zhihu.com/p/429188796
本人曾服務(wù)于CV會議領(lǐng)域主席和期刊副編，有義務(wù)為這個社區(qū)貢獻(xiàn)一些力量，所以寫下這個比較長的文章。
寫本文的原因，近年來CV領(lǐng)域“內(nèi)卷”（競爭激烈）這個詞開始受到關(guān)注。有感于不少人抱怨審稿人質(zhì)量下降，說一些自己的看法。
0、整個community的氛圍是由每一個審稿人（每一個你）組成，審稿之前，可以考慮一下自己作為author的時候希望什么樣的審稿人，然后努力做這樣的審稿人。
1、近年來CV會議越來越難中是眾所周知的。CVPR2021感覺比以往更難中文章（據(jù)我個人有限經(jīng)驗，也可以說是目前為止最難的一次）。
這其中可能有兩個原因（不止這兩個，也有其他的，無法說全，見諒）：
(a）16/17年開始不少人覺得看到部分中了的文章質(zhì)量不高（覺得這種文章居然可以中），所以想提高質(zhì)量，于是要求自然升高。
(b） 隨著這些年進(jìn)入CV的研究者變多，總體而言能帶學(xué)生發(fā)表好論文的老師越來越多，使得文章質(zhì)量相對好的總量在上升。這導(dǎo)致以前能中的idea現(xiàn)在被reject。而被reject的文章再次投稿的數(shù)目也很多，這里面不乏質(zhì)量好的文章，進(jìn)一步提高了本身文章的質(zhì)量。所以現(xiàn)在對于文章寫作和實驗的要求比以前確實高了不少。
(c) 之前有人說最近幾年沒有突破性的工作，創(chuàng)新越來越少。其實如果留心看一下2012年以前的文章，那個時候的novelty也沒有咱們想象的那么多。我們在做的都是積跬步以至千里。
2、誤區(qū)：非常少數(shù)reviewer以為給別人低分，自己的相對低分的文章就能中，其實不是這樣。
根據(jù)我自己這幾年投稿和審稿經(jīng)驗，歷年來文章接收的分?jǐn)?shù)基本沒有太大變化。所以低分的文章還是很不容易被接收。作為AC和reviewer我從來沒有收到要控制今年文章要大概多少篇accepted的信息。
相反，如果各位reviewer對你手里的文章好一點(diǎn)（當(dāng)然quality還是要夠），在不遠(yuǎn)的明天你的文章在別人手里的時候你才能期待別人對你好一點(diǎn)。我有個以前的學(xué)生這次拿到比較差的分，然后報復(fù)性的給了別人一個strong
accept給別人，這種以德報怨珍視好文章的行為還是深以為然的（當(dāng)然，前提是文章要真正有可取之處）。
所以不建議刻意給文章低分，否則CV/AI方向的熱度下降拐點(diǎn)可能就在不遠(yuǎn)。作為CV研究者，我們希望的應(yīng)該是這個領(lǐng)域的繁榮而不是凋零。
3、作為author，謹(jǐn)慎的預(yù)測則是后面投CV會議會變得非常不容易，在此情況下，可以選擇
（a）棄坑，換一些更有意思的方向；
（b）繼續(xù)在坑里待著（目前多數(shù)人的選擇），那么既然目前還在這個領(lǐng)域做，就嘗試把自己的下一個submission做得更好。包括實驗、文章寫作、idea方面。不管本次文章分?jǐn)?shù)是高還是低，下一次一定要有這個心理準(zhǔn)備，那么文章命中率還是會提高的。據(jù)我跟一些研究者的討論，他們還是認(rèn)為多數(shù)自己認(rèn)為不錯的文章還是中了，而質(zhì)量不那么好的文章明顯命中率低很多。當(dāng)然，也不乏很多老師自己認(rèn)為最好的工作沒中（太新，不容易讓人接受，出現(xiàn)八只爪的貓的現(xiàn)象，即有明顯可以看到的缺點(diǎn)），不那么好的工作卻中了的（完美無缺的bug，實驗結(jié)果、文章寫作、idea沒有大的問題，但明顯是delta
improvement）。
4、當(dāng)你的文章遇到多個reivewer。
多數(shù)人是3個reviewer。但有可能有4個甚至更多的情況。我解釋一下我這邊一個case，有篇文章已經(jīng)有了2個reviewer
comments，但是有一個reviewer在due
date前沒有給comments，我發(fā)幾次郵件也沒回復(fù)（因為第一次做AC沒經(jīng)驗，期間沒能刪掉這個reviewer）。所以就聯(lián)系了兩個不太熟悉的緊急reviewer，意料之外的是：沒有回復(fù)我email的reviewer最終給了comments，另外兩個緊急聯(lián)系的也給了（也不好讓人家不要給comments了）。于是這個文章就出現(xiàn)了5個reviewer（對這個文章作者非常抱歉）。相信其他AC也是類似的著急了多找了幾個緊急reviewer的情況。
5、請不要：
5.1) 將公司、個人的利益關(guān)系扯到審稿中。公司競爭如何殘酷、如何創(chuàng)造了仇恨都是另外的事情。但是千萬不要將這種心情帶到審稿。讓咱們共同為學(xué)術(shù)留一份凈土。
5.2) 只考慮自己做研究的方式。你可能喜歡推公式，但也請理解一個簡單有效的idea的重要性（特別是對于工業(yè)界的重要性）。Mask
R-CNN可能沒有幾個公式。SINGAN的公式真的沒什么理論創(chuàng)新。其他類似的還包括簡單的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計（比如GoogleNet,
VGG）。你可能喜歡簡單有效的idea，也請理解這個community真的很需要理論方面的進(jìn)展。如果你做的是X（如深度學(xué)習(xí)），也不要一味認(rèn)為非X方法（如非深度學(xué)習(xí)方法）就因為不是X主流而輕易的reject。多年前這個X方法也不是主流。關(guān)鍵還是看這個community（不完全是你個人）的人是否能從這個文章進(jìn)一步作出最終有實用價值的工作。
6、寫給期刊審稿人。
6.1) 如果你沒有時間，非常理解，請盡早decline。否則這會使得AE需要等你的回復(fù)才能去找另外的審稿人。如果能推薦其他合適的reiviewer，AE會感謝你。
6.2)
如果接受審稿邀請，請盡早提交，如果不能在due之前提交，請盡早告訴AE大概什么時候能提交。很多時候咱們自己的文章審稿時間長是因為有審稿人同意審稿，但是沒有按時提交審稿。作為投稿人，我們?nèi)绻Ｍ约旱奈恼卤M早出結(jié)果，那么我們作為審稿人的時候按時提交就是在有利于將來自己投稿結(jié)果盡快得到這個趨勢。我了解的很多AE確實很忙，但是他們也在盡力找時間盡早邀請審稿人文章，只是往往不容易找到審稿人（有的文章找了十幾個審稿人，只有2-3位接受邀請）。
6.3) 期刊審稿意見通常會期待比會議多不少，如果是第一次審這個期刊，自己沒有投過，則推薦問問身邊的人，了解一下對于文章的要求和對審稿意見的一些期望。
7、寫給會議審稿人。
7.1)分配了文章盡早看一下是否能審，不能審的話盡早告訴審稿人。如果不能審卻沒有說，后面AC就比較難辦。
7.2)如果審稿了，盡量參與borderline文章的討論（這個時候AC通常會提醒審稿人），盡早給出審稿意見。AC知道你是誰，沒有按時給審稿意見，給AC留下了不好的印象不說，也直接導(dǎo)致AC另外找emergency
reviewer的時候的困難。通常emergency reviewer人數(shù)少，時間短，審稿質(zhì)量相對不容易保證。
7.3) 為了community考慮，盡量同意做emergency reviewer。
7、一些關(guān)于reivewer training的信息：CVPR21 Training page for ACs and referees。摘抄一些這里面寫的一些comment reviewing errors和自己的評論：
The novelty fallacy
? :
------? Referee: this shouldn’t be accepted because it isn’t novel
---------? no because?
------? Referee: this should be accepted because it is novel
---------? hard to take seriously
------? Errors:
---------? many important things aren’t all that novel
---------? small but clever adjustments to SOTA
------? many novel things aren’t all that important
----------? AND most really silly things are novel
評：說實話，每一個文章（包括oral和best paper）都有reject的理由，而建議reviewer在review的時候想想的是這篇文章的Novelty是否值得CV community閱讀和進(jìn)一步在此基礎(chǔ)上作出更多有價值的工作。
如果非常好的idea，只是一點(diǎn)瑕疵（比如某個圖沒畫好，文章某個章節(jié)沒寫好，實驗有部分瑕疵），而reviewer可以通過comments幫助作者改過來的，則接收該文章也是一個不錯的選擇。
Intellectual laziness
-----? :
---------? Referee: Doesn’t beat SOTA so it must be rejected
---------===? No: you have to judge whether it is worth reading
---------===? and this isn’t the same thing
---------? Referee: Beats SOTA so it must be accepted
---------===? No: you have to judge whether it is worth reading
---------===? and this isn’t the same thing
---------? Referee: Thm V looks wrong
---------===? No: it’s either right or wrong, and you should know which
---------? Referee: (finds tiny error and rejects)
---------===? No: is this error important?
---------===? Safe behaviour: Use your skill and judgement
評：在公司的工程項目和各種會議組織的競賽中對于performance要求高無可厚非。但是不見得要把這件事情泛化到所有文章。
如果一個idea夠新，則應(yīng)該允許這個方法剛開始的時候結(jié)果不用比SOTA好。
比如剛開始的CNN不見得比非CNN的pedestrian
detector/face classifier/image classifier/person
re-id方法好，但是現(xiàn)在是什么情況大家都知道。再比如剛開始的Tranformer for detection (DETR)不見得比最好的
non-transformer
detector好，但這并不意味著這些文章就該rejected。關(guān)鍵還是這個novelty是否通過ablation study
justify和novelty是否夠。
若文章對您有幫助，請點(diǎn)個 “贊” 或 “在看” 吧
----版權(quán)聲明----
僅用于學(xué)術(shù)分享，若侵權(quán)請聯(lián)系刪除
努力分享優(yōu)質(zhì)的計算機(jī)視覺相關(guān)內(nèi)容，歡迎關(guān)注： 交流群
歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
下載3 CVPR2021
在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文
瀏覽
58
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時間送達(dá)
前言?本文分享了一個作為CV會議領(lǐng)域主席和期刊副編的知乎作者對當(dāng)前不少人抱怨審稿人質(zhì)量下降的一些看法。
作者：歐陽萬里@知乎(已授權(quán))
原文：https://zhuanlan.zhihu.com/p/429188796
本人曾服務(wù)于CV會議領(lǐng)域主席和期刊副編，有義務(wù)為這個社區(qū)貢獻(xiàn)一些力量，所以寫下這個比較長的文章。
寫本文的原因，近年來CV領(lǐng)域“內(nèi)卷”（競爭激烈）這個詞開始受到關(guān)注。有感于不少人抱怨審稿人質(zhì)量下降，說一些自己的看法。
0、整個community的氛圍是由每一個審稿人（每一個你）組成，審稿之前，可以考慮一下自己作為author的時候希望什么樣的審稿人，然后努力做這樣的審稿人。
1、近年來CV會議越來越難中是眾所周知的。CVPR2021感覺比以往更難中文章（據(jù)我個人有限經(jīng)驗，也可以說是目前為止最難的一次）。
這其中可能有兩個原因（不止這兩個，也有其他的，無法說全，見諒）：
(a）16/17年開始不少人覺得看到部分中了的文章質(zhì)量不高（覺得這種文章居然可以中），所以想提高質(zhì)量，于是要求自然升高。
(b） 隨著這些年進(jìn)入CV的研究者變多，總體而言能帶學(xué)生發(fā)表好論文的老師越來越多，使得文章質(zhì)量相對好的總量在上升。這導(dǎo)致以前能中的idea現(xiàn)在被reject。而被reject的文章再次投稿的數(shù)目也很多，這里面不乏質(zhì)量好的文章，進(jìn)一步提高了本身文章的質(zhì)量。所以現(xiàn)在對于文章寫作和實驗的要求比以前確實高了不少。
(c) 之前有人說最近幾年沒有突破性的工作，創(chuàng)新越來越少。其實如果留心看一下2012年以前的文章，那個時候的novelty也沒有咱們想象的那么多。我們在做的都是積跬步以至千里。
2、誤區(qū)：非常少數(shù)reviewer以為給別人低分，自己的相對低分的文章就能中，其實不是這樣。
根據(jù)我自己這幾年投稿和審稿經(jīng)驗，歷年來文章接收的分?jǐn)?shù)基本沒有太大變化。所以低分的文章還是很不容易被接收。作為AC和reviewer我從來沒有收到要控制今年文章要大概多少篇accepted的信息。
相反，如果各位reviewer對你手里的文章好一點(diǎn)（當(dāng)然quality還是要夠），在不遠(yuǎn)的明天你的文章在別人手里的時候你才能期待別人對你好一點(diǎn)。我有個以前的學(xué)生這次拿到比較差的分，然后報復(fù)性的給了別人一個strong
accept給別人，這種以德報怨珍視好文章的行為還是深以為然的（當(dāng)然，前提是文章要真正有可取之處）。
所以不建議刻意給文章低分，否則CV/AI方向的熱度下降拐點(diǎn)可能就在不遠(yuǎn)。作為CV研究者，我們希望的應(yīng)該是這個領(lǐng)域的繁榮而不是凋零。
3、作為author，謹(jǐn)慎的預(yù)測則是后面投CV會議會變得非常不容易，在此情況下，可以選擇
（a）棄坑，換一些更有意思的方向；
（b）繼續(xù)在坑里待著（目前多數(shù)人的選擇），那么既然目前還在這個領(lǐng)域做，就嘗試把自己的下一個submission做得更好。包括實驗、文章寫作、idea方面。不管本次文章分?jǐn)?shù)是高還是低，下一次一定要有這個心理準(zhǔn)備，那么文章命中率還是會提高的。據(jù)我跟一些研究者的討論，他們還是認(rèn)為多數(shù)自己認(rèn)為不錯的文章還是中了，而質(zhì)量不那么好的文章明顯命中率低很多。當(dāng)然，也不乏很多老師自己認(rèn)為最好的工作沒中（太新，不容易讓人接受，出現(xiàn)八只爪的貓的現(xiàn)象，即有明顯可以看到的缺點(diǎn)），不那么好的工作卻中了的（完美無缺的bug，實驗結(jié)果、文章寫作、idea沒有大的問題，但明顯是delta
improvement）。
4、當(dāng)你的文章遇到多個reivewer。
多數(shù)人是3個reviewer。但有可能有4個甚至更多的情況。我解釋一下我這邊一個case，有篇文章已經(jīng)有了2個reviewer
comments，但是有一個reviewer在due
date前沒有給comments，我發(fā)幾次郵件也沒回復(fù)（因為第一次做AC沒經(jīng)驗，期間沒能刪掉這個reviewer）。所以就聯(lián)系了兩個不太熟悉的緊急reviewer，意料之外的是：沒有回復(fù)我email的reviewer最終給了comments，另外兩個緊急聯(lián)系的也給了（也不好讓人家不要給comments了）。于是這個文章就出現(xiàn)了5個reviewer（對這個文章作者非常抱歉）。相信其他AC也是類似的著急了多找了幾個緊急reviewer的情況。
5、請不要：
5.1) 將公司、個人的利益關(guān)系扯到審稿中。公司競爭如何殘酷、如何創(chuàng)造了仇恨都是另外的事情。但是千萬不要將這種心情帶到審稿。讓咱們共同為學(xué)術(shù)留一份凈土。
5.2) 只考慮自己做研究的方式。你可能喜歡推公式，但也請理解一個簡單有效的idea的重要性（特別是對于工業(yè)界的重要性）。Mask
R-CNN可能沒有幾個公式。SINGAN的公式真的沒什么理論創(chuàng)新。其他類似的還包括簡單的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計（比如GoogleNet,
VGG）。你可能喜歡簡單有效的idea，也請理解這個community真的很需要理論方面的進(jìn)展。如果你做的是X（如深度學(xué)習(xí)），也不要一味認(rèn)為非X方法（如非深度學(xué)習(xí)方法）就因為不是X主流而輕易的reject。多年前這個X方法也不是主流。關(guān)鍵還是看這個community（不完全是你個人）的人是否能從這個文章進(jìn)一步作出最終有實用價值的工作。
6、寫給期刊審稿人。
6.1) 如果你沒有時間，非常理解，請盡早decline。否則這會使得AE需要等你的回復(fù)才能去找另外的審稿人。如果能推薦其他合適的reiviewer，AE會感謝你。
6.2) 如果接受審稿邀請，請盡早提交，如果不能在due之前提交，請盡早告訴AE大概什么時候能提交。很多時候咱們自己的文章審稿時間長是因為有審稿人同意審稿，但是沒有按時提交審稿。作為投稿人，我們?nèi)绻Ｍ约旱奈恼卤M早出結(jié)果，那么我們作為審稿人的時候按時提交就是在有利于將來自己投稿結(jié)果盡快得到這個趨勢。我了解的很多AE確實很忙，但是他們也在盡力找時間盡早邀請審稿人文章，只是往往不容易找到審稿人（有的文章找了十幾個審稿人，只有2-3位接受邀請）。
6.3) 期刊審稿意見通常會期待比會議多不少，如果是第一次審這個期刊，自己沒有投過，則推薦問問身邊的人，了解一下對于文章的要求和對審稿意見的一些期望。
7、寫給會議審稿人。
7.1)分配了文章盡早看一下是否能審，不能審的話盡早告訴審稿人。如果不能審卻沒有說，后面AC就比較難辦。
7.2)如果審稿了，盡量參與borderline文章的討論（這個時候AC通常會提醒審稿人），盡早給出審稿意見。AC知道你是誰，沒有按時給審稿意見，給AC留下了不好的印象不說，也直接導(dǎo)致AC另外找emergency reviewer的時候的困難。通常emergency reviewer人數(shù)少，時間短，審稿質(zhì)量相對不容易保證。
7.3) 為了community考慮，盡量同意做emergency reviewer。
7、一些關(guān)于reivewer training的信息：CVPR21 Training page for ACs and referees。摘抄一些這里面寫的一些comment reviewing errors和自己的評論：
The novelty fallacy
? :
------? Referee: this shouldn’t be accepted because it isn’t novel
---------? no because?
------? Referee: this should be accepted because it is novel
---------? hard to take seriously
------? Errors:
---------? many important things aren’t all that novel
---------? small but clever adjustments to SOTA
------? many novel things aren’t all that important
----------? AND most really silly things are novel
評：說實話，每一個文章（包括oral和best paper）都有reject的理由，而建議reviewer在review的時候想想的是這篇文章的Novelty是否值得CV community閱讀和進(jìn)一步在此基礎(chǔ)上作出更多有價值的工作。
如果非常好的idea，只是一點(diǎn)瑕疵（比如某個圖沒畫好，文章某個章節(jié)沒寫好，實驗有部分瑕疵），而reviewer可以通過comments幫助作者改過來的，則接收該文章也是一個不錯的選擇。
Intellectual laziness
-----? :
---------? Referee: Doesn’t beat SOTA so it must be rejected
---------===? No: you have to judge whether it is worth reading
---------===? and this isn’t the same thing
---------? Referee: Beats SOTA so it must be accepted
---------===? No: you have to judge whether it is worth reading
---------===? and this isn’t the same thing
---------? Referee: Thm V looks wrong
---------===? No: it’s either right or wrong, and you should know which
---------? Referee: (finds tiny error and rejects)
---------===? No: is this error important?
---------===? Safe behaviour: Use your skill and judgement
評：在公司的工程項目和各種會議組織的競賽中對于performance要求高無可厚非。但是不見得要把這件事情泛化到所有文章。
如果一個idea夠新，則應(yīng)該允許這個方法剛開始的時候結(jié)果不用比SOTA好。
比如剛開始的CNN不見得比非CNN的pedestrian
detector/face classifier/image classifier/person
re-id方法好，但是現(xiàn)在是什么情況大家都知道。再比如剛開始的Tranformer for detection (DETR)不見得比最好的
non-transformer
detector好，但這并不意味著這些文章就該rejected。關(guān)鍵還是這個novelty是否通過ablation study
justify和novelty是否夠。
若文章對您有幫助，請點(diǎn)個 “贊” 或 “在看” 吧
----版權(quán)聲明----
僅用于學(xué)術(shù)分享，若侵權(quán)請聯(lián)系刪除
交流群
歡迎加入公眾號讀者群一起和同行交流，目前有美顏、三維視覺、計算攝影、檢測、分割、識別、醫(yī)學(xué)影像、GAN、算法競賽等微信群
個人微信（如果沒有備注不拉群！） 請注明：地區(qū)+學(xué)校/企業(yè)+研究方向+昵稱
下載1：何愷明頂會分享
在「AI算法與圖像處理」公眾號后臺回復(fù)：何愷明，即可下載。總共有6份PDF，涉及 ResNet、Mask RCNN等經(jīng)典工作的總結(jié)分析
下載2：終身受益的編程指南：Google編程風(fēng)格指南
在「AI算法與圖像處理」公眾號后臺回復(fù)：c++，即可下載。歷經(jīng)十年考驗，最權(quán)威的編程規(guī)范！
下載3 CVPR2021 在「AI算法與圖像處理」公眾號后臺回復(fù)：CVPR，即可下載1467篇CVPR?2020論文 和 CVPR 2021 最新論文