RGBカメラのステレオ視による3次元手形状の復元

尼子 琢朗 (1651002)


我々人間の手は日常生活を送る上で重要な運動器官である.その機能のひとつに,モノを操作する把持動作が挙げられる.これは,ジェスチャーのような動作とは異なり,手と物体のインタラクションが求められる.把持動作に関しては様々な研究が行われてきたが,センサグローブのような手の動きを妨げる計測方法では自然な動作とは言えない.したがって、新たに手を拘束しない計測手法を考える.

本研究では,より自然な形で人の手形状を推定するため,RGBカメラを用いたステレオ視の計測システムを提案し,カメラ画像から3次元空間中の手形状を復元することを目的とする.手形状の復元を,手のリンク構造の取得と三角測量法を用いた深さ方向の推定に 分けて考える. 単眼のRGBカメラが記録したデータから 2次元の手のリンク構造 を推定し,左右のカメラから見た時の対応点を基に三角測量法を用いて3次元形状に復元する. また,本研究では計測誤差の対策として,2次元のリンク構造の誤差を低減するために非線形最適化法のひとつである Nelder-Mead 法を実装する.

実験では,構築した計測システムによって推定される,3次元空間中に復元された手の関節位置について評価する.手を静止させている状態で計測し,真値との誤差を比較することで誤差の要因について検証する.真値はモーションキャプチャによって計測する.