近年，ディスプレイ技術の発達によって，複数の大型ディスプレイを安価に配置できるようになり，より多くの情報を同時に提供できるようになった．しかしながら，ディスプレイ領域を物理的に拡張し，室内空間を取り囲むようにディスプレイを配置した環境下では，従来のポインティング手法はユーザの視界よりもディスプレイ領域が広いため，カーソルがなかなか見つからない，また複数人で使用する場合に煩わしさが生じるなどの問題がある．本研究ではそのような問題を解決するため，絶対及び相対座標指定に基づくポインティングジェスチャ入力によって実現する手法を提案し，素早く正確にポインティング，クリックを行うことのできるインターフェースの実現を目指した．
インタフェース設計に関わる課題点として，前方以外に設置されたディスプレイ上のカーソルを相対座標指定により操作する際，カーソルの移動方向と，ユーザが手を動かす方向の対応関係として人が持ち得るメンタルモデルを明らかにする必要がある．そのためこの対応関係を求めるための被験者実験を行い複数大画面環境におけるユーザのメンタルモデルを調査した．その後，これらの提案した設計指針に基づいて実際にハンドジェスチャインタフェースを設計し，ターゲットポインティングタスクを与える被験者実験を通して従来ポインティングに用いられているマウスと精度，速度の観点からそれぞれの手法の性能評価を行った．その結果，複数大画面環境において提案するジェスチャインタフェースを用いた場合，カーソルの初期位置がわからない状態でマウス操作を行う場合より，素早く正確なポインティングが可能なことがわかった．