FurryGAN高質量的前景感知圖像合成

導讀隨著生成對抗網絡(GAN)的改進,正在開發新的圖像合成方法。其中一項任務是通過根據掩碼將圖像建模為前景和背景圖像的組合來進行前景感知圖...

隨著生成對抗網絡(GAN)的改進,正在開發新的圖像合成方法。其中一項任務是通過根據掩碼將圖像建模為前景和背景圖像的組合來進行前景感知圖像合成。

最近在arXiv.org上的一篇論文提出了FurryGAN,它通過僅給出一組圖像的對前景的明確理解來學習合成圖像。

首先,鼓勵前景和合成圖像與訓練分布相似。此外,還介紹了粗面罩和細面罩。最后,研究人員提出了判別器的輔助任務,從生成的圖像中預測掩碼,以便生成器生成與掩碼對齊的前景圖像。

實驗證明了所提出的框架與以前的方法相比的優越性。

前景感知圖像合成旨在生成圖像及其前景蒙版。一種常見的方法是將圖像公式化為前景圖像和背景圖像的蒙版混合。這是一個具有挑戰性的問題,因為它很容易達到一個簡單的解決方案,其中一個圖像壓倒另一個圖像,即蒙版變得完全滿或空,并且前景和背景沒有有意義地分離。我們展示了FurryGAN的三個關鍵組件:1)將前景圖像和合成圖像都強加為逼真,2)將掩碼設計為粗略和精細掩碼的組合,以及3)通過輔助掩碼預測器引導生成器鑒別器。我們的方法使用非常詳細的alpha蒙版生成逼真的圖像,這些蒙版以完全無人監督的方式覆蓋頭發、毛皮和胡須。

免責聲明:本文由用戶上傳,如有侵權請聯系刪除!