加入極市專業(yè)CV交流群，與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動(dòng)交流！
同時(shí)提供每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、干貨資訊匯總，行業(yè)技術(shù)交流。關(guān)注?極市平臺(tái)?公眾號(hào)?，回復(fù)?加群，立刻申請入群~
今晚8點(diǎn)，極市計(jì)算機(jī)視覺開發(fā)者榜單（ECV2020）第一次線上集訓(xùn)來了！本次直播將為大家講解極市訓(xùn)練平臺(tái)使用、git和dockfile等工具使用，還有極市技術(shù)大佬線上答疑解惑。在極市平臺(tái)后臺(tái)回復(fù)“63”，即可獲取直播鏈接
在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的時(shí)候，經(jīng)常會(huì)出現(xiàn)「缺數(shù)據(jù)」的情況。這時(shí)候，就需要「數(shù)據(jù)增強(qiáng)」來獲取更多數(shù)據(jù)。而近幾年，鏡像反轉(zhuǎn)成了最為常用的方法之一。轉(zhuǎn)一次，獲得2倍數(shù)據(jù)，真香！然而，事情卻沒有想像中的那么簡單——當(dāng)翻轉(zhuǎn)了數(shù)據(jù)集里所有的圖片時(shí)，神經(jīng)網(wǎng)絡(luò)所擬合的函數(shù)，還能代表原先的圖像分布么？針對(duì)這一問題，來自康奈爾大學(xué)的研究員，首次挑戰(zhàn)了常規(guī)神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，圖片「翻轉(zhuǎn)不變性」（flip-invariant）?的這一假設(shè)。研究的題目叫做視覺手性?（Visual Chirality），并在CVPR 2020中獲得了最佳論文提名。注：手性的定義為「一個(gè)物體無法與其鏡像相重合」?！敢曈X手性」一詞啟發(fā)自手性，意指「計(jì)算機(jī)視覺領(lǐng)域中圖像分布與其鏡像分布的區(qū)別」。而該研究的一作，是此屆CVPR大會(huì)上年紀(jì)最小的獲獎(jiǎng)?wù)撸陜H21歲的華人科研新秀——林之秋。這項(xiàng)研究在多種領(lǐng)域（人臉，互聯(lián)網(wǎng)圖片，數(shù)字處理圖像）上利用卷積神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)了許多常人難以捕捉的「視覺手性」線索。通過自監(jiān)督訓(xùn)練，在多項(xiàng)數(shù)據(jù)集上達(dá)到了60%，甚至到90%的精度。鏡像翻轉(zhuǎn)的圖像，能不變？
為了理解這一鏡像翻轉(zhuǎn)話題，我們先來看下這樣的一個(gè)例子：在上面這張圖中，你能判斷出哪些圖像被翻轉(zhuǎn)了嗎？答案如下：圖一：鏡像翻轉(zhuǎn)（線索：文字）。我們可以很容易看出來文字被翻轉(zhuǎn)過了。圖二：沒有翻轉(zhuǎn)（線索：紐扣）。男士襯衫的紐扣一般位于身體右側(cè)。圖三：鏡像翻轉(zhuǎn)（線索：吉他）。吉他手的主手應(yīng)當(dāng)在吉他右側(cè)。
鏡像翻轉(zhuǎn)對(duì)于人類而言并沒有多少區(qū)別（如圖二和圖三），因而難以判斷。然而，神經(jīng)網(wǎng)絡(luò)卻可以通過自監(jiān)督訓(xùn)練的方法在這個(gè)任務(wù)上達(dá)到非常高的精度，并能指出圖片中哪些區(qū)域可以被用于識(shí)別鏡像翻轉(zhuǎn)。手性代表著單個(gè)圖片的翻轉(zhuǎn)不對(duì)稱性，而視覺手性?（Visual Chirality）則是針對(duì)圖像分布所定義的翻轉(zhuǎn)不對(duì)稱性。當(dāng)一個(gè)圖像分布具備視覺手性時(shí)，使用鏡像翻轉(zhuǎn)作為數(shù)據(jù)增強(qiáng)方法，將不可避免的改變一個(gè)數(shù)據(jù)集所代表的分布。換句話說，只有當(dāng)一個(gè)圖像分布不具備視覺手性的時(shí)候，才能在不改變原先圖像分布的前提下，使用鏡像翻轉(zhuǎn)來增強(qiáng)數(shù)據(jù)集。然而，視覺手性是大部分視覺領(lǐng)域都擁有的屬性。正如此篇文章作者，谷歌AI科學(xué)家Noah Snavely教授所說：“在計(jì)算機(jī)視覺的研究中，我們常把這個(gè)世界視為”翻轉(zhuǎn)不變“的，鏡像翻轉(zhuǎn)因而是一個(gè)常規(guī)的數(shù)據(jù)增強(qiáng)方法。然而，當(dāng)你翻轉(zhuǎn)圖片后，文字將被顛倒，左手變?yōu)橛沂?，而螺旋意大利面也將朝相反方向旋轉(zhuǎn)?！?/span>那么，這項(xiàng)研究又是如何挑戰(zhàn)了，人們先前在計(jì)算機(jī)視覺中，對(duì)于「翻轉(zhuǎn)不變性」假設(shè)的呢？
實(shí)驗(yàn)過程
這項(xiàng)研究利用了自監(jiān)督學(xué)習(xí)方法來訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。對(duì)于任何一個(gè)數(shù)據(jù)集，只需要將其原有的圖片標(biāo)記為「無翻轉(zhuǎn)」，并將鏡像翻轉(zhuǎn)過的圖片標(biāo)記為「有翻轉(zhuǎn)」，即可訓(xùn)練神經(jīng)網(wǎng)絡(luò)識(shí)別鏡像翻轉(zhuǎn)這個(gè)二分類任務(wù)（binary classification）。同時(shí)，可以根據(jù)神經(jīng)網(wǎng)絡(luò)在驗(yàn)證集的表現(xiàn)，來評(píng)估這一圖像分布是否具備視覺手性：如果驗(yàn)證集上的精度要顯著大于50%，便有充足的證據(jù)來證明視覺手性的存在。
這項(xiàng)研究利用了ResNet-50作為基本的網(wǎng)絡(luò)結(jié)構(gòu)，并使用SGD方法來訓(xùn)練網(wǎng)絡(luò)。為了了解神經(jīng)網(wǎng)絡(luò)學(xué)到了哪些視覺手性線索，研究人員利用了類激活映射（CAM：Class Activation Map）方法，在原有圖片上對(duì)于視覺手性敏感的區(qū)域進(jìn)行了高亮。同時(shí)因?yàn)槟茉斐梢曈X手性的現(xiàn)象有很多，研究人員還推出了一個(gè)簡單的基于類激活映射的聚類方法——手性特征聚類?（Chiral Feature Clustering）。在互聯(lián)網(wǎng)圖片集上，神經(jīng)網(wǎng)絡(luò)在鏡像翻轉(zhuǎn)識(shí)別上取得了高達(dá)60%-80%的精度。研究人員在Instagram圖片集上進(jìn)行了手性特征聚類，并挑選了一系列與人們生活相關(guān)的典型視覺手性現(xiàn)象進(jìn)行討論。手機(jī)：對(duì)著鏡子自拍是人們最愛做的事。此類照片具有視覺手性，因?yàn)槭謾C(jī)的攝像頭一般固定在手機(jī)背面的一側(cè)（因品牌而異），同時(shí)由于多數(shù)人是右撇子，一般都以右手持手機(jī)進(jìn)行自拍。吉他：幾乎大多數(shù)的吉他手都以右手撥弦，左手持把。為了深入了解人臉的視覺手性現(xiàn)象，研究人員在人臉數(shù)據(jù)集上進(jìn)行了孤立訓(xùn)練。在Flickr-Faces-HQ?（FFHQ）人臉數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在測試集上取得了高達(dá)81%的精度，還利用手性特征聚類對(duì)人臉中的視覺手性現(xiàn)象進(jìn)行了初步的探討：劉海分界處：人們一般用右手來分理劉海，這會(huì)導(dǎo)致劉海的朝向向一側(cè)偏移，并出現(xiàn)視覺手性現(xiàn)象。
眼睛：人們在看向物體時(shí)傾向于用一只主視眼進(jìn)行瞄準(zhǔn)，這樣會(huì)導(dǎo)致人們的目光在進(jìn)行拍攝時(shí)出現(xiàn)偏移。多數(shù)人的主視眼為右眼，而這一現(xiàn)象可能是導(dǎo)致視覺手性現(xiàn)象的成因。胡子：與頭發(fā)一樣，可能與人們習(xí)慣于用右手理胡子有關(guān)。
文中對(duì)以上的視覺手性現(xiàn)象的討論均為初步的分析，而人臉中任有大量的視覺手性線索值得被發(fā)掘。除此之外，研究人員還對(duì)數(shù)字圖像處理過程?（例如去馬賽克和圖片壓縮）中產(chǎn)生的視覺手性現(xiàn)象進(jìn)行了分析。舉個(gè)例子，當(dāng)研究人員首次利用神經(jīng)網(wǎng)絡(luò)，在Instagram數(shù)據(jù)集上進(jìn)行自監(jiān)督訓(xùn)練時(shí)，發(fā)現(xiàn)沒有使用隨機(jī)剪裁（random cropping）的神經(jīng)網(wǎng)絡(luò)。但在部分圖片上，類激活映射所得到的熱圖更著重關(guān)注圖片的邊緣部分，如下圖所示：而在使用隨機(jī)剪裁之后，研究人員得到的新的熱圖，則更關(guān)注來自于圖片中物體本身的線索。研究人員提出：當(dāng)數(shù)字圖像處理過程和鏡像翻轉(zhuǎn)不具備「交換律」時(shí)，視覺手性將會(huì)憑空產(chǎn)生在一個(gè)圖像分布上。作者通過概率論與群論（group theory），對(duì)此假設(shè)進(jìn)行了嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)論證，并通過神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)驗(yàn)證了這一現(xiàn)象在互聯(lián)網(wǎng)圖片中廣泛存在。而此類的線索往往不能被肉眼可見，卻在圖片中存在固定的模式，因而為圖像識(shí)偽的應(yīng)用創(chuàng)造了可能性。98年華人科學(xué)新秀
這項(xiàng)研究的第一作者，是98年生的華人科學(xué)新秀——林之秋。林之秋17歲便考入美國“常春藤”盟校——康奈爾大學(xué)，而這也是他「開掛人生」的開始。林之秋僅用兩年時(shí)間就全部修完計(jì)算機(jī)和數(shù)學(xué)兩個(gè)專業(yè)的本科課程，并從大二開始選修博士課程，同時(shí)跟隨計(jì)算機(jī)系的教授從事科研工作。他在多項(xiàng)專業(yè)課上，例如多元微積分、線性代數(shù)、高等抽象代數(shù)、人工智能、計(jì)算機(jī)操作系統(tǒng)等都取得過第一名。由于成績極為優(yōu)異，自大二起林之秋就接受計(jì)算機(jī)系里邀請，以助教身份給高年級(jí)同學(xué)講課，為康奈爾科技學(xué)院編寫碩士生的預(yù)修課程，甚至在高階機(jī)器學(xué)習(xí)課上給博士生的試卷打分。而這篇「CVPR 2020最佳論文提名」的研究，是林之秋從大二就開始著手準(zhǔn)備的項(xiàng)目，這也顯示了他「超級(jí)大學(xué)霸」的真實(shí)實(shí)力。如今，本科畢業(yè)的林之秋，總成績在學(xué)院數(shù)千名學(xué)生中名列前三，并受院長邀請?jiān)诋厴I(yè)典禮上代表學(xué)院舉旗。之后，他即將前往卡內(nèi)基梅隆機(jī)器人學(xué)院，攻讀計(jì)算機(jī)視覺博士學(xué)位。在此，也預(yù)祝林之秋同學(xué)，能夠在科研的道路上，繼續(xù)乘風(fēng)破浪！傳送門
文章鏈接：https://arxiv.org/abs/2006.09512
文章網(wǎng)站：http://visual-chirality.io
代碼鏈接：https://github.com/linzhiqiu/digital_chirality
添加極市小助手微信（ID : cv-mart），備注：研究方向-姓名-學(xué)校/公司-城市（如：目標(biāo)檢測-小極-北大-深圳），即可申請加入極市技術(shù)交流群，更有每月大咖直播分享、真實(shí)項(xiàng)目需求對(duì)接、求職內(nèi)推、算法競賽、干貨資訊匯總、行業(yè)技術(shù)交流，一起來讓思想之光照的更遠(yuǎn)吧~
△長按關(guān)注極市平臺(tái)，獲取最新CV干貨覺得有用麻煩給個(gè)在看啦~??
