光線方向を考慮した奥行き画像の選択による全方位動画像からの自由視点画像生成

越澤 広幸 (0751049)


  屋外環境を仮想化し計算機上に再現する技術は, 遠隔テレプレゼンスや景観のディジタルアーカイブ,エンターテインメント等, 様々な分野への応用が期待されている. 現在,屋外環境を仮想空間内に再現するための手段として, 人手によってCADデータを作成した上で実写によるテクスチャマッピングを行う手法が広く用いられている. しかし,広範囲の屋外環境を対象とした場合には,多くの人的コストがかかることが問題となっている. そこで,予め取得した画像群を利用して屋外環境の仮想化を自動化する試みとして, 仮想化の対象となる環境を単一の三次元モデルとして再現するModel-Based Rendering(MBR)法や, 取得した画像群から任意の視点の画像を直接生成するImage-Based Rendering(IBR)法が提案されてきた. しかし,前者の手法では,単一の三次元モデルとして再現することが難しい樹木のような複雑な形状を持つ物体の幾何情報を正確に推定することが困難であり, それに加えてオクルージョンにより遮蔽される領域に欠損が生じるため,写実性が損なわれるという問題がある. また,後者の手法では,入力画像を変形させることで新たな視点の画像を生成するため, 前者に比べて視点の移動に伴って発生する幾何学的な歪みが大きく, 入力として用いる画像の撮影範囲に対して,高品位な画質を保ちながら移動できる範囲が狭いという問題がある.


  このような問題に対して,本研究では任意に設定した視点位置に応じて適切な形状に変形する三次元メッシュモデルを用いて 自由視点画像を生成する手法を提案する. 提案手法では,仮想化現実空間を幾何学的に正しく描画可能であるMBR法を基礎とすることで,IBR法の問題であった視点移動に伴う生成画像上での幾何学的な歪みを抑制する. また,MBR法のように単一のモデルを生成せず,視点位置に応じて変形する三次元形状モデルを逐次生成することで, MBR法の問題であったモデル欠損を解消し,画質の向上を図る. 実験では,全方位マルチカメラシステムによって実環境を撮影した全方位動画像を入力として用い,自由視点画像生成を行うことにより, 撮影範囲に対して比較的広範囲な視点移動が可能な仮想環境内でのウォークスルーを実現できることを示す.