多視点シルエット画像を用いた手の形状推定

上田 悦子(9951016)


 本発表では3次元自由形状入力インタフェースとして利用することのできる手形状推定の新しい手法を提案する。推定は限定された手形状のパターンを対象とするのではなく、物を操作する際の手形状を対象としており、手指の各関節の回転・屈曲角度を推定するものである。提案手法では、多視点カメラシステムによって得られた画像から抽出した手領 域をシルエット化し、入力として使用する。入力である複数視点のシルエット画像を統合し、提案手法は、手の骨格モデルの表面形状データと観測データのVoxelモデルとを3次元上でのモデルマッチングにより関節角度の推定を行うものである。手形状が空間分割表現を用いて再構成される。この再構成形状はVoxelモデルと呼ばれ、観測データとして取り扱われる。

 これら手法の詳細について述べ、実験を行った結果について報告を行う。実験の内容は以下の3種類である。
(1)提案手法の有効性を確認するため、手形状シミュレータによって作成したシルエット画像による関節角度の推定実験と評価。
(2)実画像を入力とするための実験システムの構築と実画像による手形状の推定実験。
(3)提案手法がインタフェースとして応用できるかを確認するための、動画像を入力とした連続的な手形状推定実験。

 これらの実験の結果から、提案手法が処理速度を更に上げることによってインタフェースとして応用できる可能性を示す。