手話における手指動作の記述文から3次元画像表示のための中間表現への変換

崎野 まき (9651052)


身体動作の日本語による表現のように、曖昧さを持つ表現は計算機で扱いにくい。 このように曖昧な表現を計算機に伝える手段を持つことができれば、自然言語でのより良いインターフェイスが実現できる。その一例として本研究室で作成された「手話・日本語電子辞書システム」と「手話動画表示システム」をとり上げ、これらを統合して手話の学習支援システムを作ることを目的とする。

ここでいう学習支援システムとは、学習者が習った手話の動作を日本語で登録すれば、その動作を表現する3次元動画像が生成されるシステムのことである。この学習支援システムでは、あらかじめ手指動作記述文を登録しておくだけではなく、一般利用者がテンプレートに沿って新たに記述文を登録することも可能であるようにしたいと考えた。

手話の3次元画像表示システムには、データグローブで人間の手指動作を計測し、そのデータを用いてアニメーションを生成している例もある しかし、データグローブは現在あまり一般的な機器ではない。よって一般利用者が新たな3次元画像を作るときに、特別な機器を使わずに済むように、自然言語で入力を行なえるようにした。

手話の学習支援システムには

  1. 手指動作の日本語による記述文(手指動作記述文)
  2. 中間表現(基本動作列)
  3. 画像表示用のパラメータ(数値)
  4. 3次元動画像
という1 → 2 → 3 → 4 のデータ変換が必要である。 本稿では、主に1→ 2の、手指動作の記述文から中間表現への変換についての考察を述べる。