拡張現実感のための視点依存テクスチャ・ジオメトリに基づく仮想化実物体の提示

宇野 祐介 (1151020)

近年，拡張現実感（Augmented Reality; AR）技術をスマートフォン等の携帯 端末上に実装することで，実空間を撮影した映像上で家具や家電のような実物体 を仮想的に配置するアプリケーションが一般に利用され始めている．このような アプリケーションでは，仮想化された実物体（仮想化実物体）の任意の視点から の見えを再現する必要があり，多くの場合において，設計図等に基づいて人手で 作成されるテクスチャ付き三次元モデルが利用されている．一方，コンピュータ ビジョンの分野においては，実物体を撮影した画像群を入力として，自動で三次 元復元を行うことで，人手によるモデリング作業を介さずにユーザ自身による実 物体の仮想化を実現する手法が提案されている．このような手法により，画像群 から自動生成される三次元モデルを用いてユーザ自身が所持する物体を仮想化し， 拡張現実感アプリケーションに応用することが期待されるが，自動で生成される 三次元モデルには，推定誤差に起因する形状の凸凹やテクスチャの不整合が生じ るため，生成される画像の品質に問題がある．この問題に対し，本研究では視点 依存テクスチャと視点依存ジオメトリを用いることで，実画像中に仮想化実物体 を高品位に重畳合成する手法を提案する．具体的には，仮想視点に依存した適切 なテクスチャを選択的に用いる視点依存テクスチャを利用することで，生成され る画像上に生じるテクスチャの不整合を解消する．ただし，視点依存テクスチャ を用いた場合においては，生成される自由視点画像の輪郭上において，不自然な 形状の膨張や欠損が生じるという問題があり，これに対して，本研究では，仮想 視点に依存して三次元モデルを変形する視点依存ジオメトリを併用することで， 三次元モデルの欠損領域を補完し，これに加えて前景抽出した撮影画像群から視 点位置に応じたテクスチャを選択して前景領域上の画像のみによるマッピングを 行うことで，膨張領域を修復する．実験では，実時間で仮想化実物体の合成を行 う拡張現実感システムを実装し，実画像に対して既存のマルチビューステレオ法 を適用することで得られた三次元モデルと事前に前景抽出した画像群を入力とし て用いる提案手法を，モデルベースドレンダリングに基づく手法，及び視点依存 テクスチャに基づく手法と比較することで提案手法の有効性を示す．