自由視点動画像生成における視点移動時のテクスチャちらつきの低減

寺崎希 (1551064)


視点移動が伴う視点依存テクスチャマッピングを用いた自由視点動画像生成において,テクスチャちらつきを低減する手法の提案と,提案手法の有効性を検証するために行った実験の結果の報告を行う.

複数地点から撮影した画像群を入力とし,任意視点(仮想視点)からの見えを再現する自由視点画像生成は,実シーンの仮想化のための基盤技術として注目されており,遠隔地のシーンを仮想的に体感できるVR アプリケーションなどへの応用が期待されている.その中でも広く用いられている視点依存テクスチャマッピングは,入力画像群等を用いて復元したシーンの3次元形状にマッピングするテクスチャとして,仮想視点画像と入力画像の光線方向の類似度に基づいて入力画像群の中から適切なテクスチャを選択することで,仮想視点からの見えを再現する技術である.この手法を用いることで,3次元形状復元の精度が不十分であっても詳細な見えを再現することが可能である.しかし,従来の視点依存テクスチャマッピングを視点移動が伴う動画像生成に適用した場合,3次元形状やカメラパラメータの復元誤差,入力画像取得時の照明環境の差異によって,フレーム間でマッピングされる入力画像が切り替わる際に,物体上の同一箇所のテクスチャが不連続に変化し,生成した動画像がちらつく問題が生じる.

本発表では,視点依存テクスチャマッピングのテクスチャ選択処理において,フレーム間のテクスチャの整合性を考慮することで,上記の問題を低減する提案手法について述べる.提案手法では,従来手法で用いられてきた入力画像の選択基準に加えて,フレーム間のテクスチャの整合性を保持するため,前フレームで選択されたテクスチャとの類似度を選択基準として利用する.発表では,この入力画像の選択基準に基づいて設計したエネルギー関数について説明する.また,この方法では解消しきれないテクスチャの不連続があるため,この不連続を低減するための輝度調整手法について説明する.最後に,複数のシーンを対象として従来手法と提案手法で生成した動画像を提示し,これらを比較した結果とそれに対する考察,さらに被験者実験によって客観的な評価を行った結果とそれに対する考察を述べ,提案手法の有効性を述べる.