本研究では，セマンティックオブジェクト—人の把持手形状・手動作・周辺環境で意味付けした物体—を提案し，一人称視点RGB-D映像から，操作対象物体・把持手形状・手動作・周辺環境の情報を抽出するシステムを構築する．まず，時系列ポイントクラウドの各フレームにおいて手・操作対象物体・環境の点群を抽出し，抽出した手点群を手形状情報を持った教師データから類似度探索することで，フレーム毎の手形状と手位置を推定する．次に，頭部センサの位置姿勢を推定することで時系列のセンサ座標系での手の位置情報から世界座標系での手動作を推定する．さらに，手動作の速度方向の変化を用いて手動作を識別する．実際に新規形状物体に対して手動作の識別実験をおこない，提案システムの有効性を示した．