2台の全方位カメラを用いたオンラインでのランドマークデータベース構築による環境の変化に頑健なカメラ位置・姿勢推定
岡田 圭太 (1051020)
現実環境を撮影した画像に対してCG などの仮想物体を重畳することで情報を付加するビデオシースルー型拡張現実感においては，現実環境と仮想物体との幾何学的な位置合わせのためにカメラの位置・姿勢を推定する必要があり，従来から様々な手法が提案されている．
中でもランドマークデータベースを用いた手法はStructure from Motion(SfM) 法を用いて半自動でデータベースを構築できるため，低い人的コストである程度複雑な環境に適用できるという特徴を持つ．
しかし，従来手法では静的な環境を対象としているため，ランドマークデータベース構築後に環境に変化が生じた場合，推定精度が低下，もしくは推定処理が破綻するという問題があった．
そこで，本研究では対象となるシーン中に設置した全方位カメラにより逐次構築されるランドマークデータベースと，クライアント端末により撮影された画像上の自然特徴点との対応付けによる，環境の変化に頑健な拡張現実感のためのカメラ位置・姿勢推定手法を提案する．
具体的には，2台の全方位カメラより取得した全天球画像対に対し，SURF特徴量を用いた特徴点の対応付けを行う．次に，その対応関係を基に三角測量を用いて三次元復元を行う．これにより推定された三次元座標と特徴量を保存し，ランドマークデータベースを随時構築する．
構築したランドマークデータベースはクライアント端末に伝送され，クライアント端末で撮影された単眼カメラ画像のSURF特徴量と対応付ける．
これにより得られるランドマークの三次元位置と画像座標から，PnP問題を解くことでカメラの位置・姿勢推定を行う．
ただし，この対応付け処理において，全天球画像中の全領域を対象とした対応点探索を行うと誤対応が多く発生し，カメラの位置・姿勢を正しく推定できないという問題が生じる．
そこで本研究では，まず始めに全天球画像上で仮想的なカメラの方位を変えながら範囲を限定した対応点探索を行い，対応点が多く存在する方位を暫定的なカメラの方位とする．
次に，推定した方位に該当する領域画像を透視投影画像に変換し，単眼カメラ画像とのエピポーラ幾何を解き，対応付けに利用することで対応付け精度の向上を図った．
実験では，ランドマークと単眼カメラ画像上のSURF特徴点との対応付け精度の向上効果の確認と，その対応付け手法を用いたカメラの位置・姿勢推定結果の評価を行った．