手型認識を用いた高度指文字学習支援システム

田畑 慶人 (9851068)


本論文では,手型認識を用いて,学習者に間違い箇所と修正方法を視覚的に提示する指文字学習支援システム を提案する.提案システムは,次の3要素からなる.

認識部では,学習者が提示した指文字(提示指文字)の手型を手袋型センサを用いて計測する. この時,手袋型センサの親指に接触センサを導入することで,認識精度の向上を図った. 計測された提示指文字は,学習者の個人差などの影響を除くために,指の状態レベルの表記記号に 変換される.

評価部では,表記記号によって表記された提示指文字を評価する.システムの正しい指文字と提示指文字を 表記記号上で比較し,記号の相違点を学習者の間違い箇所とする.

表示部では,CGアニメーションを用いて,評価部で検出された修正箇所と修正情報を学習者に提示する.

本論文では,学習効果に関する実験を行い,提案システムを用いて学習した方が,テキストのみを用いて 学習した場合よりも,早く正確に学習が行えることを明らかにした.

本発表では,提案システムの構成とシステムの学習効果に関する実験結果について報告する.