DeepFocus實時逼真 VR 圖像合成系統(tǒng)

DeepFocus 是一個基于 AI 可實現(xiàn)更逼真 VR 圖像的系統(tǒng)。它可與高級原型頭戴設(shè)備配合使用，實時渲染模糊和各種焦距。例如，當(dāng)有頭戴支持 DeepFocus 的設(shè)備觀看附近的物體時，它會立即聚焦并變得清晰，而背景物體則會失去焦點，這與現(xiàn)實生活中的感觀一樣。這種散焦模糊（也稱為視網(wǎng)膜模糊）對于實現(xiàn) VR 中的真實感和深度感知非常重要。DeepFocus 是目前第一個能夠為 VR 應(yīng)用實時生成此效果的系統(tǒng)。

DeepFocus 使用深度學(xué)習(xí)降低了物理方法處理性能的要求，團隊開發(fā)了一種新的端到端卷積神經(jīng)網(wǎng)絡(luò)，眼睛看到場景的不同部分，就會產(chǎn)生具有精確視網(wǎng)膜模糊的圖像。該網(wǎng)絡(luò)包括新的保持體積的交織層，以在完全保留圖像細節(jié)的同時減小輸入的空間維度。然后網(wǎng)絡(luò)的卷積層以相同的、降低的空間分辨率運行，運行時間顯著減少。

由于 DeepFocus 僅依賴于標準 RGB-D 顏色和深度輸入，因此它幾乎適用于所有現(xiàn)有的 VR 游戲和應(yīng)用。