カメラの姿勢・速度情報を用いた超解像処理

大西 悟 (0951024)


 近年, 画像処理技術の発展に伴い,画像の高解像度化に対する需要が高まっており, 超解像処理が注目されている. 従来では,カメラで撮影された画像のみを用いて超解像処理が行われてきた. 実際にカメラで撮影する状況として,カメラが動きながら撮影する場合を考えたとき, カメラを動かす装置は,位置や速度などのセンシングされた情報を用いて制御されている場合が多い. その場合には,画像を撮影すると同時に,カメラの姿勢・角度情報を取得することができる. また,センサが足りない場合には,その装置のダイナミクスが既知であれば, オブザーバを用いることにより未知の情報を推定することができる. よって,撮影画像のみでなく,画像を撮影すると同時に取得できる情報も活用すれば,使用する情報が増えたことにより, 超解像処理の結果に良い影響を与えると考えられる.

 そこで本研究では,被写体が静止し,カメラが動きながら撮影する状況を考え, 画像が撮影されると同時に取得されたカメラの姿勢・速度情報を用いて超解像処理を行う,超解像処理システムを提案する. 本システムではカメラの姿勢・速度情報を用いるため, 超解像処理のプロセスのうち,位置合わせ処理と撮影中にカメラが動くことによって生じる動作ブレの推定を, 代数演算により行うことができる. 本発表では,提案する超解像処理システムの概要と, カメラの姿勢・速度情報を用いた代数演算による位置合わせ処理と動作ブレの推定の方法について述べる. また,実機検証と従来研究との比較を行った結果を示し,提案システムの有効性を確認する. さらに補足として,撮影中にカメラが速く動いてしまうような場合,超解像処理の結果が劣化する可能性があるため, 本システムの制御系に速度拘束を設定することによって超解像処理の結果を改善する方法について検討する.