奥行き画像を用いた時空間超解像画像の生
粟津 優作 (0651005)
実画像をユーザに提示することで遠隔地に居る感覚を与える技術はテレプレゼンスと呼ばれ，医療，娯楽，教育などの様々な分野への応用が期待されている．
これらの分野で用いられるテレプレゼンスシステムでは，高い臨場感を再現することが求められる．
高い臨場感を再現するためには，空間解像度および時間解像度の高い映像の提示が必要であり，近年，画像の空間解像度を向上させる超解像に関する研究や動画像の時間解像度を向上させるフレーム補間に関する研究が盛んに行われている．
前者の画像の超解像に関する研究では，一般に視点位置の異なる複数の地点で撮影された画像群に対して各画素をサブピクセル精度で対応付けることで，空間中の同一箇所に対する冗長な複数の観測データを用いて空間解像度を向上させる．
しかし，サブピクセル精度で各画素を対応付けるためには，撮影対象の形状に関して平面仮定等の制約が必要となり，対象の形状が複雑な場合には良好な結果を得ることが難しいという問題がある．
一方，後者の動画像のフレーム補間に関する研究においても，隣接するフレーム間の画素の対応点を用いることで補間フレームを生成するが，カメラの視点位置・視線方向の変化に伴う撮影範囲の変更やオクルージョンの発生により，2フレーム間で対応点が存在しない場合には良好な結果を得ることが難しい．
このような問題に対して本論文では，各画像取得時のカメラパラメータを既知とした上で，各画素の奥行き値をパラメータとして多数の画像上での対応点を同時に決定することで時空間超解像画像を生成する手法を提案する．
本手法ではまず，各画像の撮影位置およびそれらの中間視点位置に仮想的な高解像度カメラを設定し，仮想カメラの各画素に対する奥行きを周辺のフレームの複数の画像を用いてエネルギー最小化の枠組みで探索する．
本手法では，多数の画像に対する対応点を奥行きの1次元探索によって決定できるため，従来用いられていた平面仮定等を用いる必要がなく，空間解像度の向上において，複雑な形状の物体を含む動画像を扱うことができる．
また，隣接するフレームの画像だけでなく多数の画像を利用することで，隣接フレーム間で対応点が存在しない場合にも他のフレームの画像を用いて補間フレームを生成でき，空間解像度の向上と同一の枠組みで時間解像度を向上させる．
実験では，仮想環境を用いたシミュレーション動画および実動画に対する時空間超解像画像の生成を行うことで提案手法の有効性を示す．