実画像群からの実時間自由視点画像生成を用いたドライブシミュレータシステム

松元 裕哉 (1351099)


現在,運転初心者の教育を目的としたドライブシミュレータシステムが利用されている. これらのシステムでは三次元モデルを用いて道路環境を再現しているが,モデルに人工的なテクスチャが使用されるため写実性に乏しく,実際の運転で得られる臨場感をユーザに与えることは難しい問題がある. そこで,実写映像に基づくドライブシミュレータシステムが求められてきた. 富士通株式会社は,実走行映像を利用した列車用の運転シミュレータシステムを開発したが,これは移動範囲が軌道上に限られる鉄道の特性を利用したものであるため,このシステムを自動車用のドライブシミュレータシステムへ応用することは難しい.

このような問題に対して,写実性の高い走行シーン映像を描画するために,実シーンの情報を仮想空間内に取り込み,様々な視点位置からの現実環境の見えを仮想空間内に再現する自由視点画像生成を用いる手法が研究されている. 従来手法では複数地点で撮影された実写画像とシーンの三次元点群を入力とし,仮想視点における奥行画像(視点依存ジオメトリ)を三次元点群から作成し,視点位置に応じた適切な実写画像を貼り付ける(視点依存テクスチャマッピング)ことで高品質な画像を生成している. しかし,これらの手法はオフライン処理を前提としており,視点毎の奥行画像の生成コストが高いため,リアルタイムでの画像提示が要求されるドライブシミュレータシステムへの利用は困難であった.

本研究では(1)点群に対する事前の局所平面当てはめ,(2)粗密法による奥行画像生成,により視点依存ジオメトリの生成にかかる計算コストを大幅に削減し,自由視点画像を実時間生成する手法を提案する. また,車載型のラインスキャナ(LiDAR)と全方位カメラにより計測した道路環境の三次元点群と全方位画像を入力に用いた,提案手法に基づくドライブシミュレータシステムを構築する. 本発表では,構築したドライブシミュレータシステムにより生成したドライバー視点映像の例を示す. また,生成した画像を車載カメラによる安全運転支援システムに用いられる白線検出システムへ入力し,ユーザに対してリアルタイムでのフィードバックを与えるシステムを試作した. これらの実験結果を用い,自由視点画像生成によるドライブシミュレータシステムの実用性に関する検証結果を発表する.