沈陽自動化所提出基于循環神經網絡的圖像修補新模型
近日，中國科學院沈陽自動化研究所在自然場景及人臉圖像的修復領域中取得新進展，提出的基于循環對抗生成網絡的圖像修復方法成功應用于任意缺失區域的檢測和修復。研究結果2021年發表在IEEE TRANSACTIONS ON MULTIMEDIA。
圖像缺失區域的恢復是圖像處理中的難點問題，是影響目標識別、跟蹤等視覺任務的精度和魯棒性的重要因素。由于圖像缺失區域信息的完全丟失和缺失信息的唯一性，因此根據已知區域的特征準確恢復圖像中的缺失目標信息至關重要，傳統的復制-粘貼模式難以同時滿足圖像結構和細節的恢復需求。
沈陽自動化所視覺課題組提出一種基于循環對抗生成網絡的修復模型，將圖像修復過程轉化為由結構到細節逐步、循環預測和修復損失區域的過程：高層語義特征在圖像修復過程中負責指導結構重建；低層特征對高層語義有明顯的補充作用，負責細節重建。通過實驗，研究人員在多個數據庫上與主流算法進行對比，在峰值信噪比（PSNR）、結構相似性（SSIM）、圖像相似性（FID）等多個指標上均為最優。
該研究得到了國家自然科學基金、科技部重點研發計劃以及中國科學院國際合作重點項目和交叉創新團隊等項目的支持。
