視点位置に依存して変形する三次元メッシュモデルを利用した自由視点画像生成における違和感の低減

伊吹 拓也 (0851011)


 近年,Microsoft 社のVirtual Earth,Google 社のGoogle Earth に代表される,現実環境を計算機上に再現し,再現された環境を仮想的に体験することが可能な サービスが注目を集めている.このような,実環境を仮想化し計算機上に再現する技術は仮想化現実(Augmented Virtuality) と呼ばれ,遠隔テレプレゼンスや景 観のディジタルアーカイブ,エンターテインメント等の様々な分野への応用が期待されている.現在,実環境を仮想空間内に再現する手段として,モデリングソフ トを用いて人手により作成されたCADデータに対し,実写によるテクスチャマッピングを行う手法が広く用いられている. しかし,広域環境を対象とした場合には,多くの人的コストがかかることや,人手による作成では再現できる景観の写実性に限界があることが問題とされている.

 そこで,予め取得した画像群を利用して,屋外環境を自動的に仮想化する試みとして,環境を単一の三次元モデルを再現するModel-Based Rendering法(MBR法)や,画像の変形・合成により任意の視点の画像を直接生成するImage-Based Rendering法(IBR法)が研究されてきた. しかし,前者の手法では,単一の三次元モデルとして再現することが難しい樹木のような複雑な形状を持つ物体の幾何情報を正確に再現できず,それに加えてオクルージョンにより遮蔽される領域にモデルの欠損が生じるという問題がある. これに対して,後者の手法では,入力画像を変形させることで新たな視点の画像を生成するため,視点の移動に伴って発生する幾何学的な歪みが大きいという問題がある. そこで,MBR法とIBR法を組み合わせたHybrid Rendering法が提案されている. これらの手法では,MBR法におけるモデルの欠損の問題を解消しつつ,一定の品質を保ったままでの大幅な視点移動を可能にしている. しかし,従来のHybrid Rendering法においては,フレームごとに独立に画像を生成するため,動画として生成された画像を再生した場合において,違和感が生じるという問題があった. 加えて,複雑なシーンを対象とした場合において,合成に用いられる幾何情報を正しく推定することが難しく,このような箇所においてテクスチャの歪みが生じていた.

 そこで,本研究では,従来手法のように仮想視点位置における正しい幾何形状の推定を行うことだけにとらわれず, 各視点位置において視点移動に伴って生じる違和感が小さくなるような幾何形状を生成することで, 合成画像上に生じる違和感を低減させ,高品位な自由視点画像の生成を目指す. 実験では,提案手法を用いて屋外環境において任意の視点の見回し・移動を行った際の自由視点画像を生成した結果を示し,従来手法との比較を行う.