自由視点画像生成手法を用いた移動撮影した全方位動画像からの動物体除去
井上 直哉 (1051009)
遠隔地の実映像をユーザに提示することであたかもその場所にいるような感覚を与えることができる全方位テレプレゼンスシステムは, ナビゲーション, 娯楽, 医療,
教育など様々な分野への応用が期待されており,近年, Googleストリートビューなどの商用サービスにも応用されている.
このような全方位テレプレゼンスシステムにおいては, 全方位動画像中に写りこんだ人のプライバシー問題が生じる. また, 全方位動画像を入力とし,
ユーザが撮影経路上で連続的に視点位置を変更可能なテレプレゼンスシステムにおいては, 提示される画像上の動物体の移動が視点移動と連動し,
時間とは連動しないため違和感が生じる. そこで本発表では, 移動撮影された全方位動画像から人などの動物体を除去し,
静止物体のみで構成される全方位動画像を生成する手法を提案する. 従来, 移動撮影された全方位動画像から動物体を除去する手法として, 複数回同一経路を撮影し,
それらを統合することで動物体の存在しない全方位動画像を生成する手法が提案されている.
この手法では一時的な駐停車中の車など一回の撮影中には動かない動物体に対しても, 別の時間に撮影された動画を用いて除去できるという利点はあるが,
撮影コストが大きいという問題がある. 他方, 動画像の背景に平面仮定をおいて前後のフレーム間の対応付けを行い, 動物体の除去を行う手法が提案されている.
しかし, 平面仮定が適用できない一般的なシーンで用いることはできない. これらの問題に対して, 本発表では, 一回の移動撮影で得られた全方位動画像から,
自由視点画像生成手法を用いて複数フレームの画像を単一視点の画像に変形し, 変形された画像間の整合性を検証することで全方位動画像中の動物体領域を除去する.
これにより, 従来研究の問題であった撮影コストの削減及び背景形状制約の緩和を図る. 具体的には, まずStructure from
MotionとMulti-view Stereoで環境の三次元形状を復元し, 各フレームにおいて密な全方位奥行き画像を生成する. 次に,
全方位動画像中のあるフレームを対象フレームに設定し, 生成した全方位奥行き画像に基づきその前後複数のフレームを対象フレームでの見え方に変換する. 最後に,
生成された対象フレーム視点の画像群を比較することで動物体の背景を取得する. これを, すべてのフレームを順に対象フレームに設定しながら繰り返す. 本発表では,
一回の移動撮影で得られた全方位動画像から動物体を除去することで提案手法の有効性を示す.