全方位カメラにより撮影された動画像に対する欠損領域の修復による不可視領域のない全天球映像の生成
町北 幸大郎 (0651114)
遠隔地の実映像をユーザに提示し，あたかもその場所にいるような感覚を与えるテレプレゼンスは
，娯楽，医療，教育などの分野への応用が期待されている．
これらの分野ではユーザによる遠隔地の見回しを実現するために，
全方位カメラによって撮影した全方位動画像を用いることが多い．
しかし，一般的な全方位カメラには撮像系の構成上生じる死角が存在し，
テレプレゼンスにおいて全方向の視野を完全に再現することができないため，臨場感が損なわれるという問題がある．
そこで本論文では，死角により生じる欠損領域を修復し，不可視領域のない全天球映像を生成することで，
臨場感の高いテレプレゼンスを実現する手法を提案する．
従来，動画像上の欠損領域を修復する手法として，
動画像中に存在する欠損領域周辺のテクスチャパターンと見え方が類似したパターンを
事例として用いる手法が提案されているが，
カメラが運動することによって欠損領域周辺のテクスチャの見え方が画像上で大きく変化する全方位動画像を
対象として従来手法をそのまま用いることは難しい．
また，従来手法では動画像上の全領域を事例として用いるため，
実際にはその場に存在しないテクスチャパターンが生成され，違和感が生じる場合がある．
これに対して，本研究では，欠損領域周辺における撮影対象の形状とカメラの運動を考慮し，
テクスチャの変形補正および，事例として用いる画像領域の限定を行うことで全方位動画像に対する高品位な修復を行う．具体的には，全方位カメラの死角領域周辺の形状が平面で近似できると仮定し，あらかじめStructure from motion法によって推定された欠損領域周辺の自然特徴点の三次元位置に当てはめた平面に対して全方位画像を投影することで，カメラの運動による同一物体の見え方の変化を補償する．また，全方位カメラの位置・姿勢および，点群に当てはめた平面を用いて，欠損領域のテクスチャが他のフレームの画像上で存在する領域を特定し，事例として利用する画像領域を限定することで，実際には存在しないテクスチャが生成されることを防ぐ．実験では，全方位カメラにより撮影された動画像の欠損を修復し，不可視領域のない全天球映像を生成することで，提案手法の有効性を示す．