視線履歴を用いた注視領域抽出

榊原 章仁(0151045)


実世界を撮影した画像を解析し,画像内の各対象物体領域をそれぞれ抽出することが出来れば,対象の認識等,実世界の状況理解において非常に有用な情報となる.こうした画像の領域分割に関する研究は,画像認識・パターン認識と呼ばれる分野における最も基盤となる技術の一つである.1枚の画像中に観測されている全ての対象物体領域をそれぞれ分割するためには,主にエッジ検出,領域分割という二つの相補的なアプローチがある.しかし,以下のような問題点があるため,実環境を撮影した画像を,画像情報のみに基づいて各物体領域に分割することは非常に困難である.

一方,近年,人の状態を測定する装置の発達やコンピュータのウェアラブル化に伴い,人の様々な情報をモニタすることがより容易になり,コンピュータの知的情報パートナーとしての支援の幅が大きく広がってきている.特に人が注目している領域を抽出することができれば,その人の意図や興味を反映した様々な支援に役立つ.人の注目を表す情報の一つに視線があるが,視線インタフェースは以下のような利点を持ち,様々なインタフェースに応用されている.

エッジや領域情報といった2次元画像情報のみを用いて領域抽出を行う手法では,ステレオ視を用いる3次元的な手法に対して奥行き幅の広い物体や奥行きが不連続な個所が存在する物体等,より多くの任意形状の対象を抽出対象とすることが容易である.しかし,画像情報のみを用いた場合,注視領域内部のエッジや領域拡張の際の判定の曖昧さ等,正しい領域抽出を妨げる問題がある.また,複数の物体が映っている画像では,注目領域を決定する際の判定が難しい.一方,視線情報を利用すれば,実環境中における対象のポインティングや2次元領域の指定等,人の注目している領域に関する情報が反映された領域抽出を行うことが出来る.

本発表では,人の注視点の集合である視線履歴を用いて,カメラ画像から人の注視領域を抽出する手法について述べる.本手法では,まず連続的な時系列画像を観測しながら,各フレームにおける視線履歴を視線検出装置により取得し,画像上の注視点座標を得る.観測終了後,各フレーム毎に入力された全ての注視点を,注視時の最終フレームに対応付ける.こうして得られる視線履歴および画像に対して,視線履歴の各点を色情報等の特徴量を用いてクラスタリングを行い,各クラスタにおける視線履歴の二次元座標を用いて外接多角形を求め,初期領域群を生成する.そして,初期領域から画像情報および視線履歴の分布を考慮した領域拡張を反復的に行い,最終的に一つの注視領域を求める.注視対象物を観測した実画像および,視線検出装置により実測した注視時の視線履歴を用いて実験を行い,本手法の有効性を示す.