GANを用いた広視野化とデプス推定による既存映像のVRコンテンツ化

古賀 隆文 (1751041)


近年,ヘッドマウントディスプレイ(HMD, Head Mounted Display)の普及に伴い,HMDを用いてユーザに広画角な映像を提示することで,まるで提示映像中の環境にいるかのような高没入感の体験ができるようになってきた. HMD向けの没入型映像コンテンツとして現実環境を撮影した映像に基づくコンテンツが作られている.特にRICOH THETA等の全方位カメラで撮影された360度映像を用いることで容易に広画角な映像コンテンツを作成可能である. 一方,コンピュータグラフィクス(CG, Computer Graphics) により現実環境を再現したコンテンツ(以下,VRコンテンツ)も作られている. VRコンテンツをHMDで体験することで,両眼立体視や運動立体視を再現でき,より現実環境での視覚体験に近い高没入感な体験が可能になっている. 本研究では没入型映像コンテンツではない従来の映像コンテンツの視覚的没入感を高めるために,映像の撮影画角に着目し,より広画角のカメラで撮影されたかのように映像の外側に広がる周辺映像を生成し映像を外挿することを試みる. さらに,映像の立体視に着目し,映像からそのデプス情報を生成して3次元的に表示することでHMDを使用した際に両眼立体視ならびに運動立体視を可能にすることを試みる.

入力映像の外挿にはGANを用いる.GANの生成ネットワークには元画像を入力しその画像の周辺領域を生成できるよう設計し広視野映像を生成する.デプス画像の生成にも同様のGANを用いる.この場合入力は広視野映像となる. そして広視野映像とデプス画像からポリゴンメッシュ生成し,HMDで観ることで運動立体視と両眼立体視が可能なVRコンテンツを提示する.そして広視野映像とデプス画像を用いてUnityを用いて実装した提案システムでポリゴンメッシュ生成を行い,ルームスケール移動可能なHMDで観ることで運動立体視と両眼立体視が可能な映像を提示する.

試作システムの動作実験では,自動運転シミュレーCARLAを用いて学習用データを用意し,外挿画像やデプス画像を推定した.その結果,被験者実験の実施に十分耐える品質であることを確認した.次に被験者実験では,同様にCARLAで作成した映像シーケンスを用いて, 狭視野画像(OR),広視野映像(EX),広視野映像とデプス画像を基にしたポリゴンメッシュ(VR)を比較した. 各映像の没入感をIPQによるアンケートにより比較した結果,提案手法である提案手法EXおよびVRの没入感が比較手法ORよりも高いことを確認した.