一人称視点RGB-D映像を用いた作業中の物体操作記録システム
島田健史 (1351055)
ライフログのような日常生活における行動を様々なセンサを用いて計測・記録し，収集したデータを解析することによって得られる新しい知見を基にしたサービスが近年増加している．
特に手を使った作業の記録においては，人の手の動きのみならず，人が操作する物体や周辺環境などの情報を同時に記録することが望ましい．
本研究では，人が関心を寄せている空間での作業を記録するため，頭部に装着したRGB-Dセンサから得られる一人称視点映像を用いる．
作業記録システムでは，一人称視点映像から作業中の手先位置を推定し，作業に関係する物体を抽出したのちに手の行動も推定する．
提案手法では，記録した時系列RGB-Dデータを利用し，頭部に装着したセンサの位置姿勢変化を推定することで，視点や物体を扱う位置の大きな変化に対応する．
また，作業に関わる動物体の中から安定的に手を検出し，この情報から手先位置を推定する．さらに，手付近の環境の変化を検出することで，操作対象の物体の抽出および手の行動を推定する．
本発表では手位置や行動の推定，操作対象物体の抽出などの提案手法を紹介し，机上での物体移動作業の実験による提案手法の有用性について説明する．