マルチモーダルインターフェースのための赤外線撮像デバイスによる頭部動作の解析と認識

松本 文宏(9951104)

本研究では「モーションプロセッサ」と呼ばれる赤外線の反射光を利用する撮像デバイスを用いて頭部動作・喋り出しの検出を行ない、機械と人間の新しいインターフェースを考える。
赤外線の反射光には背景の抜き出しや反射光の強さによる対象物の形状取得など、ジェスチャ認識に有用な特性を持つ。ただし、反射光の情報は完全に距離情報と同一ではなく、対象物の表面の反射率やカメラに向かった角度などの影響を受ける。
本研究では、シニアからモーションプロセッサによってデータ収集を行ない、ジェスチャについての分析を行なった。解析結果を元に反射画像の特性を利用して高速な頭部動作の認識アルゴリズムを開発した。具体的には、 という手法を用いている。 また、顔の形状から喋り出しの検出を行ない、発声時の口唇の動き検出も行なった。 実環境でインターフェースデバイスとしての有用性を確かめる。