拡張現実感におけるハイライトを考慮したマーカ除去
中村勇貴 (1451079)
近年，撮影した映像中にCGを重畳する拡張現実感(Augmented Reality: AR)と呼ばれる技術が注目されている．
拡張現実感のアプリケーションでは，実シーンとCGの幾何学的な位置合わせが重要であり，それを実現するための撮影画像を用いたカメラの位置姿勢推定手法として，マーカを用いる手法と，画像中の特徴点を用いるマーカレスの手法がある．
後者の手法はテクスチャの少ない環境においてカメラ位置姿勢をロバストに推定できないため，実用的なアプリケーションにおいては，仮想物体をユーザの希望位置に容易に設置でき，また環境のテクスチャにかかわらずカメラの位置姿勢をロバストに推定できる前者の手法が広く用いられている．
マーカを用いる拡張現実感の具体的な応用例として，室内を撮影した映像中にCGによる家具を重畳することで，家具を購入する前に家具と部屋との親和性を確認することができる家具配置シミュレーションなどがある．
しかし，従来実用化されている家具配置システムでは映像中に映り込むARマーカによって，CGの家具と部屋との親和性を確認しづらくなる場合がある．
これを解決する手段として，現実世界のARマーカを映像中からリアルタイムに除去する隠消現実感(Diminished Reality: DR)に関する研究が行われている．
隠消現実感を実現する手法は，毎フレーム画像修復を適用する手法と事前に観測または生成した背景画像を毎フレーム輝度調整し合成する手法に大別できる．
前者の手法では，毎フレーム類似パターンを探索し，それに基づきマーカ領域における画素値を決定するため，フレーム間でテクスチャの幾何学的構造が変化し，違和感が生じる場合がある．
%Herlingらは直線検出を行い，画像修復の質をあげているが，それでも模様があるところが不自然になったりするらしい．
これに対して，後者の手法では，観測または生成した背景画像を毎フレーム射影変換し，輝度調整を行った上で，マーカ上に合成するため，テクスチャのフレーム間における違和感のある幾何学的な変化は生じにくい．
しかし，マーカが設置されている平面上の大局的な明度変化のみを扱っているため，鏡面反射によるハイライトを再現することは難しい．
本発表では後者の手法に着目し，撮影画像からシーンの照明環境を推定した上で，これを背景画像の輝度調整に反映させることで，鏡面反射が生じるシーンにおいても自然にARマーカを除去する手法を提案する．
提案手法は，撮影画像から光源を登録する事前処理と，実際にそれを反映しマーカを除去する処理に分かれる．
事前処理においては，撮影した画像における画素値は鏡面反射光と拡散反射光のみで構成されるという仮定の下，様々な異なる地点で撮影された複数の画像を位置合わせし，各画素の画素値の中央値を算出することで得られる画像を拡散反射成分画像，各フレームから拡散反射成分画像を引いた画像を鏡面反射成分画像として推定する．
次に，光源は天井などの平面上に存在するという仮定の下，異なる撮影位置の鏡面反射成分画像を用いることで照明の位置及び鏡面反射成分画像のハイライトの強度を算出する．
マーカ除去の処理においては，登録した照明位置およびハイライトの強度をカメラの位置に応じて毎フレーム画像に反映させることで鏡面反射を再現した隠消現実感を実現する．
実験では様々な環境にマーカを配置し，提案手法と従来手法の適用結果を比較することで提案手法の有効性を示す．