朱俊彥團(tuán)隊(duì)最新論文GANGealing：GAN監(jiān)督學(xué)習(xí)密集視覺對(duì)齊 | 代碼開源
點(diǎn)擊下方“AI算法與圖像處理”，一起進(jìn)步！
重磅干貨，第一時(shí)間送達(dá)
大家好，我是阿潘，今天給大家分享一篇最新的成果，來自pix2pix的團(tuán)隊(duì)最新論文，先mark一波！
論文標(biāo)題：
GAN-Supervised Dense Visual Alignment
論文和代碼鏈接：
https://arxiv.org/abs/2112.05143
https://www.github.com/wpeebles/gangealing
效果：
圖1給定未對(duì)齊圖像的輸入數(shù)據(jù)集，我們的GANgealing算法發(fā)現(xiàn)所有圖像之間的密集對(duì)應(yīng)關(guān)系。第一行：來自LSUN CAT的圖像和數(shù)據(jù)集的平均圖像。第二行：學(xué)習(xí)輸入圖像的變換。第三排：通過GANgealing學(xué)習(xí)的密集通信。底層：通過對(duì)平均變換圖像進(jìn)行注釋，我們可以將用戶編輯傳播到圖像和視頻中。
更多效果：
摘要
本文提出了GAN監(jiān)督學(xué)習(xí)，這是一個(gè)用于端到端聯(lián)合學(xué)習(xí)判別模型及其GAN生成的訓(xùn)練數(shù)據(jù)的框架。我們將我們的框架應(yīng)用于稠密視覺對(duì)齊問題。受經(jīng)典Congealing?方法的啟發(fā)，我們的 GANgealing?算法訓(xùn)練一個(gè)空間transformer，將隨機(jī)樣本從一個(gè)基于未對(duì)齊數(shù)據(jù)訓(xùn)練的GAN映射到一個(gè)共同的、聯(lián)合學(xué)習(xí)的目標(biāo)模式。我們展示了八個(gè)數(shù)據(jù)集的結(jié)果，所有這些結(jié)果都表明我們的方法成功地對(duì)齊了復(fù)雜數(shù)據(jù)并發(fā)現(xiàn)了密集的對(duì)應(yīng)關(guān)系。GANgealing顯著優(yōu)于過去的自監(jiān)督通信算法，在多個(gè)數(shù)據(jù)集上的性能與最先進(jìn)的監(jiān)督通信算法相當(dāng)（有時(shí)甚至超過），而無需使用任何通信監(jiān)督或數(shù)據(jù)擴(kuò)充，盡管專門針對(duì)GAN生成的數(shù)據(jù)進(jìn)行訓(xùn)練。為了實(shí)現(xiàn)精確的通信，我們對(duì)最先進(jìn)的監(jiān)督方法進(jìn)行了高達(dá)3倍的改進(jìn)。我們展示了我們的方法在增強(qiáng)現(xiàn)實(shí)、圖像編輯和圖像數(shù)據(jù)集的自動(dòng)預(yù)處理方面的應(yīng)用。
GANgealing 算法架構(gòu)
圖2 GANgealing概述。我們首先在未對(duì)齊的數(shù)據(jù)上訓(xùn)練生成器G。我們通過在生成器的潛在空間中學(xué)習(xí)模式c來創(chuàng)建用于對(duì)齊的合成生成數(shù)據(jù)集。我們使用該數(shù)據(jù)集來訓(xùn)練空間 transformer 網(wǎng)絡(luò)T，以便使用感知損失將未對(duì)齊的圖像映射到相應(yīng)的對(duì)齊圖像[37]。空間transformer可概括為自動(dòng)對(duì)齊真實(shí)圖像
更多的算法細(xì)節(jié)，請(qǐng)閱讀論文
今天分享的內(nèi)容就到這里，如果喜歡可以幫忙分享一下，我是阿潘，努力分享更多優(yōu)秀的成果！
推薦閱讀
CVPR2021 最具創(chuàng)造力的那些工作成果！或許這就是計(jì)算機(jī)視覺的魅力！
百變冰冰！手把手教你實(shí)現(xiàn)CVPR2021最新妝容遷移算法