畳み込みニューラルネットワークを用いた修復失敗領域の自動検出による反復型画像修復
田中 隆寛 (1451070)
写真についた傷や意図せず写った人物・物体などの不要な領域を画像内から取り除き，取り除かれた領域(以下，欠損領域)を違和感なく修復することで画像の利用価値を高める画像修復に関する研究が盛んに行われている．従来から，欠損領域と他の領域間のパターン類似度に基づくエネルギー関数を定義し，それを最小化するように欠損領域内の画素値を決定することで修復を行う手法が提案されている．ここで，一度のみの修復では欠損領域全体に違和感のないテクスチャが生成されない場合も多いが，そのような場合にはユーザが手動で修復に失敗した領域(以下，修復失敗領域)を再指定し，反復的に画像修復を適用することで結果を改善することが可能である．本発表では，このような手動での修復失敗領域の再指定なしに画像修復の結果の品質を向上させることを目指し，畳み込みニューラルネットワークを用いて画像修復の結果から修復失敗領域を自動的に検出することで，自動で反復的に画像修復を適用する手法を提案する．提案手法は，(1)畳み込みニューラルネットワークの学習，(2)修復失敗領域の検出による画像修復の反復的適用，の2つのフェーズから構成される．学習フェーズ(1)では，まず，画像修復の結果から得られる様々な特徴マップ(パターン類似度，修復に用いられた事例の位置関係等)と，画像修復結果を手動で修復成功領域と修復失敗領域に分類したラベルを学習用データセットとして生成する．次に，修復成功領域を正例，修復失敗領域を負例とした2クラス分類器の畳み込みニューラルネットワークに対して，特徴マップから抽出した小領域および，その小領域の中心画素の教師ラベルを入力とすることでネットワークを学習させる．修復失敗領域の検出による画像修復の反復的適用フェーズ(2)では，未知の画像に対し画像修復を行った結果から学習時と同様の特徴マップを生成し，抽出した小領域を学習済みのネットワークへ入力することで小領域の中心画素のクラスを求める．これを欠損領域全体に対して行うことで，画像全体における修復失敗領域を検出し，それに対して再度画像修復を行う．以上の処理を繰り返すことで，修復画像の品質を向上させる．実験では，まず，学習用の画像に対して画像修復を行い，生成した学習用データセットを用いて畳み込みニューラルネットワークを学習させる．次に，修復失敗領域か否かの確率を表すSoftmax関数の出力の閾値や画像修復の反復回数を様々に変化させ，未知の画像に対する画像修復の反復的適用実験を行い，定量的な評価により各パラメータと修復結果の品質の関係性を検証する．最後に，修復結果の主観的評価実験により従来手法と比較することで提案手法の有効性を示す．