ウェアラブル型カラー・赤外複合撮像デバイスと実世界オブジェクト登録・検索システム

上岡 隆宏 (0051008)


日常生活を背景とした,身の回りの物体(オブジェクト)の位置想起を支援するウェアラブルオブジェクト登録・検索システムを構築する.システム着用者がオブジェクトの位置を忘れてしまった場合,システムが記録映像から対象オブジェクトの最後に観測された映像を検索しユーザに提示することで,ユーザはオブジェクト位置を想起することができる.

本システムは,オブジェクト登録・観測オブジェクト検索・指定オブジェクト検索の機能を持つ.オブジェクト登録では,ユーザ視点映像からオブジェクトを抽出し,ウェアラブルPCに登録する.ユーザ視点映像からオブジェクト領域だけを抽出するのに適したウェアラブル撮像デバイスとして,赤外・カラー複合撮像デバイスを開発した.複合撮像デバイスの特性を利用して,ユーザ視点の画像からオブジェクト領域を簡単に取得し,オブジェクト特徴量を抽出することが可能となる. 観測オブジェクト検索では,システムがユーザ視点映像を観測し,観測オブジェクトと登録オブジェクトとの同定を行い,同定成功した登録オブジェクトの映像をユーザに提示する.指定オブジェクト検索では,ユーザが登録オブジェクトの名前などの情報をシステムに入力すると,登録オブジェクト中から指定オブジェクトを検出し,その記録映像がユーザに提示される.

提案システムのオブジェクト登録・検索の能力について,評価実験によって検証する.