人間の行動認識を行う場合，体の姿勢変化から推定を行うことが多い． しかし姿勢変化を検知するために広い視野で観測を行うと，大まかな動き情報しか得ることができず，違う行動でも動きが類似しているため識別が困難なものが多数存在する． この問題を解決するために本発表では，「オプティカルフローを用いた隠れマルコフモデル(以下HMM)による大まかな行動解析」と「ズームアップした首振りカメラによる特定領域の細かい動き観測結果」を組み合わせて行動認識を行う手法について述べる．
本システムは，この姿勢変化が類似している行動を，ズームアップした首振りカメラによる領域を絞った詳細観測を行うことで識別を可能とする．
具体的な処理手順は以下の通りである．
まず学習段階において，認識対象となる動作を表すおおまかな動きを観測するために，人間の上半身を正面から撮影し,体の動きをオプティカルフローを用いて検出することで，各行動の動き情報系列を得る．
この動き情報系列を学習することで，HMMによる尤度計算のための行動モデルを得る．
認識実行時も学習時と同様の動き情報を抽出し，HMMによる尤度計算を行う．
このときの尤度値を監視し，類似行動を検出したとき，これを区別するためにズームアップした首振りカメラを用いてその差を特徴付ける体の部位観測を行う．
特徴的なパラメータを検知できたとき，対応する行動のHMMの尤度結果に重みを加えることで最終的な行動認識を行う．
本発表ではこの処理の流れ，および実験結果について考察を含めて述べる．