特一级黄色,农村嫩苞一区二区三区在线观看,夜天干天干啦天干天天爽,日本丰满少妇bbbbbb黑人,无码人妻一区二区三区,又爽又黄的网站,美女抠逼免费看,亚洲av乱伦

加入極市專業(yè)CV交流群，與?10000+來自港科大、北大、清華、中科院、CMU、騰訊、百度?等名校名企視覺開發(fā)者互動交流！
同時提供每月大咖直播分享、真實項目需求對接、干貨資訊匯總，行業(yè)技術(shù)交流。關(guān)注?極市平臺?公眾號?，回復(fù)?加群，立刻申請入群~

Tips

◎本文為極市開發(fā)者原創(chuàng)投稿，轉(zhuǎn)載請注明來源。

◎極市「論文推薦」專欄，幫助開發(fā)者們推廣分享自己的最新工作，歡迎大家投稿。聯(lián)系極市小編(fengcall19)即可投稿~

視頻是具有時間連續(xù)性的圖像集合，其中每幀圖像的上下文信息（空域信息）與不同幀之間的互補信息（時域信息）都有助于提升視頻超分辨的性能。近日，來自國防科技大學的學者提出基于可變形三維卷積的視頻超分辨網(wǎng)絡(luò)（D3Dnet），通過將可變形卷積（Deformable Convolution）和三維卷積（3D Convolution）有機結(jié)合，同時實現(xiàn)高效時空信息建模與靈活幀間運動補償。實驗表明，該網(wǎng)絡(luò)生成視頻的清晰度、流暢度與網(wǎng)絡(luò)的運行效率均處于領(lǐng)域先進水平。論文信息如下：

論文鏈接：https://arxiv.org/pdf/2004.02803.pdf

代碼鏈接：https://github.com/XinyiYing/D3Dnet

引言（Introduction）?

隨著當前高分辨率視頻的需求增多，視頻超分辨技術(shù)被廣泛應(yīng)用于視頻監(jiān)控與高清影音設(shè)備中。相較于單幅圖像超分辨，視頻超分辨的核心與難點在于充分利用時域互補信息。然而，視頻的幀間運動給該任務(wù)帶來了較大的挑戰(zhàn)。

現(xiàn)有的視頻超分辨算法大多是兩階段的（two-stage），即先在空域進行特征提取，然后在時域進行幀間運動補償。此類框架無法充分結(jié)合視頻序列內(nèi)的時空信息，從而限制了超分辨性能，降低了輸出視頻序列的流暢性。

針對以上問題，該文提出可變形三維卷積網(wǎng)絡(luò)（D3Dnet）實現(xiàn)單階段（one-stage）的視頻超分辨，即使用可變形三維卷積（D3D）對時空信息進行漸進式融合，并自適應(yīng)地完成幀間運動補償。該文在公開數(shù)據(jù)集Vid4，Vimeo-90K，SPMC-11上對所提算法進行了測試評估，實驗結(jié)果表明，相比于領(lǐng)域內(nèi)其他先進算法，D3Dnet能夠重建出精度更高且更加流暢的視頻序列，同時具有合理的參數(shù)量與較高的運行效率。

方法（Method）?

1、可變形三維卷積（D3D）

圖1 可變形三維卷積（D3D）結(jié)構(gòu)示意圖

如圖1所示，D3D將可變形二維卷積（Deformable Convolution, DCN）與三維卷積（3D Convolution, C3D）進行結(jié)合，輸入特征中的淺橙色立方體代表3×3×3的C3D卷積核，深橙色立方體代表3×3×3的D3D卷積核。其中，D3D卷積核的偏移量（offset）由偏移量生成器（3×3×3的C3D卷積）產(chǎn)生。如圖1上方部分所示，位于偏移空間（offset field）的特征的通道維度為2N（此處N為27），代表對應(yīng)3×3×3卷積核在高度H和寬度W上的偏移量。

2、可變形三維卷積網(wǎng)絡(luò)（D3Dnet）

圖2 D3Dnet結(jié)構(gòu)圖

基于D3D，該文構(gòu)建了D3Dnet，如圖2所示。首先，將7幀視頻序列送入C3D進行初始特征提取。隨后，將提取的特征輸入5個級聯(lián)的殘差D3D模塊（ResD3D），同時實現(xiàn)時空信息進行提取與幀間運動補償。而后，采用瓶頸層（bottleneck）將運動補償后的視頻特征進行融合，并將融合后的特征送入6個級聯(lián)的殘差塊（Resblock）進行重建。最后，將重建后的特征依次輸入1×1卷積層，pixel-shuffle層，1×1卷積層，得到高分辨率參考幀圖像。

實驗（Experiments）

1、消融學習（Ablation Study）

實驗部分首先通過消融學習對網(wǎng)絡(luò)中不同模塊和方案的有效性進行驗證。

1）雙階段方法（two-stage）和單階段方法(C3D，D3D)。

圖3 雙階段方法（two-stage）和單階段方法（C3D, D3D）性能對比，橫坐標代表模型中的殘差模塊的數(shù)量。

圖3實驗表明，相較于two-stage 算法，one-stage算法能夠更加充分地利用視頻中的時空信息，以較少的參數(shù)獲得更好的性能；相較于C3D，D3D能夠靈活地提取時空信息，有效對幀間運動進行補償，獲得質(zhì)量更高的超分辨視頻序列。

2）輸入視頻的幀數(shù)。

表1 不同視頻輸入幀數(shù)的性能對比

表1實驗表明，輸入視頻幀數(shù)的增加引入了更多的時域信息，從而提升了超分辨性能。

2、算法對比（Comparison to the State-of-the-arts）

該文在表2所示的3個公開數(shù)據(jù)集上將D3Dnet與單幀超分辨算法DBPN（CVPR18）、RCAN（ECCV18）以及視頻超分辨算法VSRnet（TCI16），VESPCN（CVPR17），SOF-VSR（TIP20），以及TDAN（CVPR20）進行了比較。此外，該文還采用了雙三次插值的結(jié)果作為基準對照組。算法對比的結(jié)果如下。

1）數(shù)值結(jié)果

表2 不同超分辨方法數(shù)值結(jié)果比較（PSNR/SSIM）

2）視覺效果

圖4 不同超分辨算法視覺效果比較

3）流暢度與運行效率

表3 不同超分辨方法生成的視頻流暢度和運行效率比較

與單幀超分辨算法DBPN（CVPR18）、RCAN（ECCV18）相比，D3Dnet具有優(yōu)異的性能和運行效率。與視頻超分辨算法TDAN（CVPR20）、SOF-VSR（TIP20）相比，D3Dnet通過合理增加計算成本進一步提升了視頻超分辨的性能（更高的PSNR/SSIM指標、更好的視覺效果、更優(yōu)的視頻流暢度）。

圖5 不同超分辨算法視頻流暢度比較

結(jié)論（Conclusion）?

該文提出基于可變形三維卷積的視頻超分辨網(wǎng)絡(luò)（D3Dnet），通過將可變形卷積與三維卷積相結(jié)合，設(shè)計了可變形三維卷積（D3D）以同時進行時空信息提取與幀間運動補償。D3Dnet結(jié)構(gòu)簡單、設(shè)計精巧，相比于領(lǐng)域內(nèi)其他先進算法，在不大幅度增加計算開銷的前提下，顯著提升了視頻超分辨的性能。得益于較好的時空建模與幀間運動補償能力，D3Dnet輸出的視頻具有更高的流暢度。

推薦閱讀

自注意力機制和全連接的圖卷積網(wǎng)絡(luò)(GCN)有什么區(qū)別聯(lián)系？
金字塔卷積PyConv來了！"即插即用"，提升你的網(wǎng)絡(luò)性能
動態(tài)卷積：自適應(yīng)調(diào)整卷積參數(shù)，顯著提升模型表達能力｜CVPR2020

添加極市小助手微信（ID : cv-mart），備注：研究方向-姓名-學校/公司-城市（如：目標檢測-小極-北大-深圳），即可申請加入極市技術(shù)交流群，更有每月大咖直播分享、真實項目需求對接、求職內(nèi)推、算法競賽、干貨資訊匯總、行業(yè)技術(shù)交流，一起來讓思想之光照的更遠吧~

△長按添加極市小助手

△長按關(guān)注極市平臺，獲取最新CV干貨

覺得有用麻煩給個在看啦~??

國防科大提出基于可變形三維卷積的視頻超分辨，代碼已開源

引言（Introduction）?

方法（Method）?

1、可變形三維卷積（D3D）

實驗（Experiments）

1、消融學習（Ablation Study）

實驗部分首先通過消融學習對網(wǎng)絡(luò)中不同模塊和方案的有效性進行驗證。

1）雙階段方法（two-stage）和單階段方法(C3D，D3D)。

結(jié)論（Conclusion）?

國防科大提出基于可變形三維卷積的視頻超分辨，代碼已開源

1、可變形三維卷積（D3D）

實驗部分首先通過消融學習對網(wǎng)絡(luò)中不同模塊和方案的有效性進行驗證。

1）雙階段方法（two-stage）和單階段方法(C3D，D3D)。