拡張現実感における画像修復に基づく陰影を考慮したマーカ除去による隠消現実感

山崎 将由 (1051121)


現実環境を撮影した映像にCGを重畳し,ユーザに様々な情報を付加する拡張現実感(Augmented Reality)に関する研究が近年盛んに行われており,これらのアプリケーションでは,カメラの位置・姿勢を算出するために,マーカが広く用いられている.このようなマーカに基づく拡張現実感では,ユーザに提示される映像にマーカが映りこむため,マーカ以外の現実環境とCGのシームレスな融合が実現できず,ユーザに違和感を与える.本研究では,マーカを提示画像上から取り除き,その領域を違和感なく修復することで実時間でマーカの視覚的な除去を実現する隠消現実感(Diminished Reality)の新たな手法を提案する.従来,入力画像上において,修復対象となるマーカ領域周辺のパターンに類似したパターンを画像上の他の領域で探索し,これを修復対象領域にコピーすることで,マーカを除去する手法が提案されている.この手法では入力画像上での視点位置に依存したテクスチャパターンのコピーによる修復を毎フレーム行うため,透視投影効果により参照されるテクスチャの歪みが大きい場合,適切なテクスチャが修復の事例として選択されず高品質な修復が難しい.また,フレーム間のテクスチャの輝度変化を考慮していないため違和感が生じることがある.そこで本研究では,マーカ周辺が平面であることを前提とし,初期フレームにおいて,マーカを真正面から見た画像に変換し,透視投影効果による歪みのないテクスチャを用いて画像修復を行うことで,マーカ領域に幾何学的に違和感のないテクスチャを生成する.また,マーカ周辺における陰影の変化を検出し,これを生成されたテクスチャに反映した上でマーカ領域上に合成することで,光学的にも違和感のないマーカの除去を実現する.実験では,実環境の様々な入力に対して提案手法を適用し,違和感のないマーカ領域の修復が実現できることを示す.