近年，家庭内での家事支援や社会の中で作業を行わせるため，ロボットが用いられている． そこで，人は日常的に機器を使って生活を行っていることに着目し，ロボットにも機器の操作能力が必要だと考えた． しかし，ロボットが操作するすべての機器に対してモデルを手動で作成するのは多大な時間が必要となる． 本研究では，画像を使用した，事前のモデル構築が不要な，操作手法の推定手法を提案する． 機器と操作部分の検出を分けることによって，操作部分を機器によらず1つのものとして学習させることができるため，認識精度を向上させることができる． 提案システムでは，深層畳み込みニューラルネットワークを用いた物体検出手法であるFaster R-CNNを使用して機器と操作部分を別々に検出し，オントロジを用いて検出結果の解析を行う． 実験では，1種類の機器の操作部分のみを使って学習させた場合と比較して，複数種類の機器の操作部分を学習させた場合が高い精度を持っていることを確認した． また，学習させていない種類の機器の操作部分であっても認識が可能であることを確認した． 更に，実環境内でロボットを使って，未知の機器を操作することができ，提案手法の有用性を確認した．