隠消現実感のためのニューラルネットワークを用いた 除去対象物体の自動検出・除去

松井　琢朗 (1651098)

撮影された画像や映像から特定の物体を視覚的に除去する技術は，除去後の画像 に対してCG を合成することも可能であることから画像処理分野のみでなく拡張 現実感の分野においても注目されている．特に，拡張現実感の分野においてリアルタイムで除去を行う技術は 隠消現実感と呼ばれ，空間シミュレーションや作業支援の分野において応用が期待 されている．隠消現実感を実現するための手法としてこれまでに，別視点のカメラ 画像の情報を用いて除去する手法，テクスチャ解析による画像修復手法に基づく手 法，ニューラルネットワークなどを用いた学習に基づくの手法などが提案されて いる．これらの手法では，主として除去対象領域の補間処理に焦点が当てられてお り，画像中の除去物体の領域は手動またはマーカを除去対象物体に貼り付けるなど の方法によって抽出されている．また，除去対象領域の大きさや形状によって，適 切な画像修復アルゴリズムが異なるという問題がある． そこで，本研究では，隠消現実感への適用を考慮した除去対象物体の自動検出お よび除去フレームワークを提案する．本フレームワークでは，対象物体の検出およ び除去はニューラルネットワークを用いて実現される．一般に，多層のニューラル ネットワークを用いる場合には大量の学習データを必要とするが，本研究では，比 較的少数の除去対象領域がラベリングされた画像群を準備するのみで，除去対象物 体の自動検出および除去を実現する．除去対象領域の検出には，畳み込みニューラ ルネットワークを用い，除去対象領域がラベリングされた画像群を用いて学習を行 うことで，除去対象領域のマスク画像を生成する．また，除去対象領域の画像補間 には，除去対象領域がラベリングされた画像群と除去対象が存在しない画像群を用 いて生成されるシミュレーション画像を用いて学習を行ったデノイジングオートエンコーダ を用いる．しかしながら，少量の学習データを用いる場合，過学習などによる影響で鮮明な画像修復結果 を得ることは難しいという問題がある．そこで，本研究では，敵対的ネットワーク を用いた画像修復結果のテクスチャの鮮明化を行う．また，画像修復結果は入力画 像と比較し全体的な色のずれが生じることがある．そこで，後処理として，Joint Bilateral Filter を用い，画像修復結果のテクスチャ形状と入力画像の色情報を統合 することにより最終的な画像修復結果を得る． シミュレーション画像を用いたRMSE Lossによる定量的評価および，実画像を用いた定性的評価に より，提案手法を用いることで小さい物体や細い物体が除去対象領域の場合，精度 が向上することが確認できた．しかし，画像上の大きな物体を除去する際には，テ クスチャの崩れによる精度の低下が見られた．