畳み込みニューラルネットワークを用いた画像修復の品質評価に基づく画像修復結果の自動選出

南村 敏弥 (1551070)


現像した写真についた傷や,撮影時に意図せずに映った人物など,画像内に不要な領域が存在する場合がある.このような不要な領域を取り除き,取り除かれた領域である欠損領域を違和感なく埋める,画像修復と呼ばれる研究が盛んに行われている. 従来手法として,画像内のテクスチャを事例として用いた手法が広く用いられている. これは,欠損領域と非欠損領域の間のパターン類似度に基づくエネルギー関数を作成し,それを最小化するような画素で欠損領域を埋めることで修復を行う手法である. しかし,この手法は初期値などのパラメータの設定によって修復結果が大きく変化し,一般に良い修復結果が得られるようなパラメータを事前に決定することができないという問題がある.

そこで本研究では,画像修復においてより良い修復結果を得ることを目的とし,畳み込みニューラルネットワークを用いて、複数の画像修復の結果から自動的に品質の良いものを選出する手法を提案する. 提案手法では,画像修復結果の品質を評価するためのデータセットを用いて学習を行い,入力された修復画像の品質が良いか悪いかを出力する畳み込みニューラルネットワークを構成する. 画像修復結果の品質を評価するために,2種のデータセットを構築し転移学習を行う. 1つ目のデータセットは,元画像に対して無作為に欠損領域を指定し画像修復を適用したものであり,大量のデータの自動生成が可能である.提案手法では,このデータセットを用いて畳み込みニューラルネットワークを事前学習する.2つ目のデータセットは,手作業により欠損箇所を指定し,様々なパラメータによって画像修復を行った結果それぞれに対して,手作業で品質の高低をラベルを付与したものである.このデータセットを利用して畳み込みニューラルネットワークをファインチューニングすることにより,最終的な学習結果を得る.これにより,手作業での欠損領域の指定とラベルの付与によるデータが少ない場合でも,高い性能を達成することが期待できる. このネットワークを用いて修復結果を評価することにより,様々なパラメータにより修復された複数の画像の中から品質の良いものを自動的に選出することが可能である.

発表では本研究の背景,位置づけ,手法の詳細ならびに実験の結果について報告する.